Deep Dive
- DeepSeek R1 Lite 与 OpenAI 的模型仍存在差距。
- Kimi 的 200 万字模型能力可能不如早期版本。
- 通过“商人运送胡萝卜”和“修改语句风格”等测试案例，可以更全面地评估大模型能力。
Shownotes Transcript
欢迎来到 AI 产品观察我是李自然现在是 11 月 22 号周五的凌晨 3 点为了保证我们这个节目的中更抓紧把汉我们的播客录出来最近国内有几个大模型都更新了新的版本比如说 DeepSeek 出了一个 R1 Lite 的模型据说是可以比肩 OE Preview 的但是我这边用一些方法测试了一下感觉还是差的比较远的和 OE Preview 还是不太是一个档次的东西
这里并不是说 DeepSeq 的模型不好啊就是因为 DeepSeq 已经是国内我个人认为是 Top2 的这个大模型啊从能力上讲然后而且它的性价比应该是最高的就我们公司很多产品也是在用 DeepSeq 用的很多但整体来看呢我们国内大模型我觉得和国外的这些最好的模型比还是有着比较明显的差距的
还有就是最近 Kimi 那边呢也向很多人开放了这个 200 万字上下门的这个体验资格因为这个 Kimi 的 200 万上下门这个 PR 了很长时间但其实只有非常少数的人体验过或者说用过啊
因为据说当时 200 万字的模型是耗费资源非常多的就是成本特别高而且其实速度是非常慢的然后我在早期的时候也试过 200 万字的模型当时确实可以做到大海捞针的效果但是最近放出来的就是让更多人可以体会到 200 万字的版本说实话我个人感觉能力好像是不如以前的因为我 CTO 测了一下
他给了这个模型一个就是我 CTO 自己写的科幻小说发现这个模型其实可能
可能 20 万字都记不太住所以说感觉 200 万字也是有一点点水分的但是这个模型在早期的时候好像确实是能支持 200 万字的我不知道是不是因为成本或者是什么原因做了一点点缩水什么的这也是我这边了解到一个情况不一定是完全正确的也希望如果其他朋友有体验不一样或者有不同的测试结果的可以大家在评论区交流
这里也说一下我们测试模型能力的一些好玩的东西当然我们测试评估一个模型的时候需要测的东西还是蛮多的它肯定不是一件非常简单的事情但是我们团队的小伙伴就发现了有一个题做模型的测试还是蛮有意思的那个题目大概是这样的一个商人骑一头驴要穿越 1000 公里长的沙漠去卖 3000 根胡萝卜
这个驴一次性可以驮 1000 根胡萝卜但是这个驴每前行一公里就会吃掉一根胡萝卜这个问题就是这个商人最多能够带多少根胡萝卜穿越沙漠就是 1000 公里长的沙漠一共有 3000 根胡萝卜这样的一头驴每走一公里就要吃一根胡萝卜这样的一个问题这个题在 OE Preview 之前很多模型都是答不出来的但是在 OE 之后这个问题普遍都能答出来了
然后我个人还有一个有点意思的小测试就是给模型一段文字要求它改成道庄举然后给它一个例子这个例子是我现在在山东火烧真好吃我已经很久没吃过这么好吃的火烧了然后你要把它改成在山东我现在真好吃的火烧这么好吃的火烧很久没吃过了我已经
然后这么一个改中文道装剧的这么一个测试啊就目前为止还没有模型能够通过啊所以当然还是那句话啊就是测试一个模型能力还是很复杂的一个事情啊我们没法通过某一道题目就来判定一个模型的优劣啊这只是这两个题目是比较好玩的可以和大家说一下
前段时间呢我和很多在美国的出现者聊天我就感觉美国的出现者呢他们的思路明显比中国出现者就是更开阔更天马行空一点啊中国出现者呢往往就是想的比较现实比较接地气但是却没有一些就是特别敢有想象力的那些想法
让我们想比较深刻的其实是几个月前的一个新闻啊就是美国那边有几个高中生嘛他们觉得就是房顶上装掉太阳能呢只有白天能发电晚上就发不了电了他们呢就想把几个反光板给发射到太空上去啊
然后在晚上的时候呢让这个太空中的反光板啊把这个太阳光给反射到他们家的这个太阳能板上去就让这个太阳能板啊晚上也能发电这个如果是中国的创业者呢肯定会觉得你就为了发这种电对吧这个成本究竟值不值或者说
究竟能不能发出电来什么的但是美国的高中生他们还是比较敢想的就真的做了这么一个 ID 后来甚至还拿了合乎川资本的投资不过后来他们也确实发现好像晚上反射太阳光让太阳能发电这个事好像不是很现实就因为功率实在是到不了这么高但他们后来做了一个项目就是说如果你在晚上想要一束私有的阳光的话他可以把这束阳光
来给你反射过来来比如说你在晚上搞一个 party 或者搞一个什么东西对吧然后他可以把这个阳光给你反射到你的一个这个一个院子里来或者说一个 party 的一个场地里面去啊这个还是很酷的而且据说这个想法已经在实施了也获得了投资嘛就是我真的觉得这还是蛮有意思的一件事情然后我还听说
在那边有串者把这个的模型就是装到那个端侧的这个类似树莓派的这种设备里面然后其实我一直比较怀疑你在这种运算能力这么低的设备上装一些一个非常小的模型啊它有什么意义
然后他就跟我说了一干例就说其实现在还是有很多那种末世求生的爱好者嘛包括甚至很多富豪我们播客之前还说过啊有人到新西兰那边有大佬在那边修地宝什么的就是还是有一群这样爱好末世求生的人的啊
然后他们就做了一个小机器那个机器呢就像一个小窗户机一样的一个东西啊它正面有一个屏幕反面是可以用太阳能来发电的你要在漠视的时候没有电还可以用太阳能来发一点电然后里面呢就集成了这么一个小模型里面这个翻团了各种各样的就是漠视求生的技巧啊甚至包括比如说你如果在野外断了根高峰应该怎么处理就类似这样的知识点啊
反正都给弄到这个模型里面去你问他呢他就可以给你回答各种求生的技能然后他还内置了这个离线的全球的这个 GPS 的地图啊什么的然后这么一个小设备呢据说卖的还不错啊反正我觉得这种
这种小硬件还是挺好玩的其实我一直觉得现在做 Aa 软件很卷嘛但是做 Aa 硬件的机会就还是蛮多的我大概两三个月之前吧还看到在日本那边有人在这个木板上面这个把一块木头和高科技做了一个融合就是我不知道大家有没有注意在 mac 以前的一些电脑上面有一个工艺啊
你表面看起来是一个铝合金的外壳但是呢你把这个开关打开之后呢你就能看到这个铝合金这个外壳上面就会亮起一盏灯因为它把这个铝合金的这个外壳上面其实凿了非常多的小孔啊让这个灯光能够透过来但是这个灯如果不亮的时候呢你看起来就是一块普通的铝合金的面板啊是看不出来任何的瑕疵的
然后我说这个日本产品呢可能我猜也是类似的原理啊就是这一块木头呢它就是在床头上呀什么的然后你如果这个没通电的情况下没激活的情况下呢你看起来它就是一块普通的木头啊但是说在你激活了它之后啊这个木头其实是可以显示的啊
它其实内置了一个 ChatBT 你可以和它用语音来交互它还支持触摸你用手在上面触碰的时候它就会有更人观的反应你还可以用手指在上面类似写字画画那种你手指划过的痕迹木头上面就会亮起一圈灯我就觉得
如果你做一个普通的写真屏上面其实就没有任何的感觉嘛但是你把它做在床头的一块看起来很普通的一个木板上面就真的是特别有感觉啊我不知大家能不能该到这个点就是这种东西我觉得也是蛮有意思的就是你突然可以和一块木头进行一些高科技的互动对话什么的就是也很有意思对
最近还有很多国产的眼镜也快集中面世了很多粉丝可能知道我在很早的时候就买了一个 Meta 的 AI 眼镜在那个眼镜其实我觉得它的拍照耳机麦克风效果都不错甚至麦克风的功能我觉得它收音的效果都不比我大疆的领夹麦差
然后那个眼镜出来之后卖的不错呢这个中国这边啊据说出来了七八十家团队啊做类似的产品最近呢这一堆企业也把产品做到七七八八了吧我估计在今年的十二月份到明年的可能三四月份吧可能是中国这个眼镜集中爆发的一个密集产品上市的一个阶段啊
然后我前两天看了好像是电玩科技介绍的一家那家据说产品力做得还不错而且它用眼镜实施了一个 AI 实时对话翻译的功能啊然后据说那个实时对话的翻译呢是靠在手机里运行的一个本地的大模型来完成的就是让翻译的速度能够变得非常快这个产品呢我还没体验过但坦白说我个人是有一点点怀疑的因为我这边之前做过一些测试啊就是在手机上能运行的那种
比较小的模型啊其实他翻译的能力是比较差的就是你让他翻译一些稍微复杂点的东西往往是翻译不好的所以说我们怎么说呢拭目以待吧看看这一波中国的这个眼镜在产品历史上有没有能够超过 Meta 的那个产品的哈
然后最近呢我还入手了一个豆包的 AR 机其实是一个好朋友送我的那个耳机呢是挂耳式的你可以把它挂在耳朵上面然后可以随时把豆包叫出来和它对话什么的坦白说到目前为止呢我用豆包用的倒不多但那个耳机本身的体验还是挺不错的就因为这可能是我第一次用那个挂耳的耳机吧就是它戴在耳上真的是蛮无感的就是我经常在上面戴好久啊你都不记得自己戴了个耳机
它就不像我之前戴的 AirPods 什么的戴久了总是会感觉比较难受嘛然后包括前面说的 Mate 眼镜啊其实虽然也是比较无感的配戴耳机的方式但那个眼镜本身是比较重的那个眼镜戴久了还是有点累的但豆包的这个耳机呢
就是它戴上去真的相当的五感而且它的音质呢还是相对比较不错的因为豆包这耳机呢为了保证配戴舒适嘛它不是塞到耳朵里面的它是这个悬浮的耳朵外面的一个东西但它离耳朵的距离会非常的近啊就是它其实比那个眼镜那种外放式的耳机离耳朵的距离要近很多所以它还是比较接近传统耳机的音质的嗯
这里我前面说豆包我用的不多然后耳机反而还不错这并不是一个贬义的评价比如说 Mate 眼镜我还是说它的耳机拍摄是比较好我觉得一个设备我们先不管它 AI 不 AI 你既然做的是个耳机首先要保证你耳机本身的功能比较好用我觉得豆包耳机起码在耳机本身的功能上还是实现的非常不错的至于豆包这个东西做在耳机上有没有用
我暂时保留意见我可以在试用一段时间之后再和大家反馈我的一些体验什么的本身就随便和大家聊了一些我最近看到的一些硬件产品什么的其实我一直觉得 AI 硬件几乎很多包括我自己其实也有了好几个非常成熟的可以做 AI 硬件创业的一些 idea 但是最近我公司本身的做软件的那块业务 AI 软件那块
还忙不过来就更没有精力去做这些 AI 硬件什么的然后希望到明年我这边能够搞点 AI 硬件也玩一下然后我最近还买了一台 3D 打印机我还和公司的小伙伴们说现在其实很多的硬件我们都可以用 3D 打印的方式做个壳对吧然后现在有很多的开源方案然后有很多的那种
别人做好的小硬件你可以自己去组装一下就行了然后你可以装一个这个 AR 模型进去然后如果你需要摄像头需要别的东西你也可以都集成进去其实还是可以以很低的成本做一个原型机出来的如果我们的听众里面有在 AR 硬件这方面创业有经验的话也欢迎和我联系交流我也想跟大家学习一下那今天我们 AR 视频观察就和大家聊到这里我们下次再见拜拜