Deep Dive
Shownotes Transcript
Hello 好久没聊了后面会陆续的又回来去讨论一下一些 AI 产品讲讲我自己的思考过去几个月其实很少有聊 AI 应用主要今天还是在去做一些 AI 实操类的一些实践的思考
然后我觉得玩这么几个月之后呢再重新回来去写或者是看 AI 应用跟过去的视角有挺大的不一样的
当然我觉得这一课也可以慢慢去思考哪里不一样我自己个人的感受是因为更多的去关注细节和关注用户之后再回来看 AI 应用会有不一样的感受以及说过去的万字长文可能还是偏更加理论性的一些现在有了一些死骚性的思考包括对各种模型的能力有了新的理解之后会发现挺不一样的一些新的视角
那今天想聊一个产品其实是有点老鼠开花的意思它是 notebook lm 我昨天晚上也发了一篇文章大概什么意思呢其实拿它跟腾讯的 IMA 对比呢你会发现它们两是一种非常截然相反的产品形态腾讯的 IMA 它核心逻辑还是走知识库嘛
我会知道说前段时间他挺火的因为很多人在微信群里面到处去传他的一些知识库就我自己也加入了几个但事实上呢我自己也作为算是总之用户吧到现在也陆陆续续用了若干次但我发现他其实是有非常大的一些 bug 的
首先最重要的 bug 就是国内的模型现在上下文窗口是非常短的然后模型的推理能力也差强能力所以导致说你在知识库里面问就会出现两个问题第一个会丢东西我能不说多的文档了我自己的知识库可能有二三十篇吧即使在原来最早的时候我也尝试过丢了我大概 200 篇的
公众号的 txt 版本丢进去反正不管是哪种情况我在里面去问他的内容他都会漏东西丢东西这里面就会带来说我操我其实不知道他有没有把我觉得还挺重要的一些信息给抓出来的所以这就会导致我对他问题的质量会有很大的存疑
第二个呢是它确实的回答质量也挺高的所有的东西稀稀拉拉的也没什么洞察力就尽管它在部分内容里面它能抓出来那些要点但是它没有办法很好地捏合起来所以就几乎是没法用的
他其实走另外一条路线是说用生态去囊括更多的资源对吧在微信生态里面可以比较自然的去传播用小栏序用微信公众号的文章可以直接用小栏序打开这种方式来吸引大家但其实我觉得这个逻辑是非常有问题的它其实放大了模型能力不足的一个缺点
就你本来在有限的上下文窗口里面你要是少量内容有可能还回答质量高一点但一旦变成说啥都有的情况下你再去用模型来对知识库来做提取它的这个弱点模型不行的弱点又被极大的强化了
所以我们回过头看 notebook.lm 它的上来其实就直接是以笔记本的方式来进行自制固的切割比如说我昨天研究的是 flomo 对于 AI 的思考我就只需要丢进 6 个文档我原来研究张金剑我可能丢 10 几篇文档对吧我研究 artifacts 可能也就是 10 个左右的文档
就是你只有说基于高质量的内容定向的按项目制的逻辑去进行研究才可能得到一个更好的答案所以这次 notebookrm 上来就首先定义好的产品框架和结构那这个结构从过去我大概印象是 gmail1.5 的时候我就有在用那到现在这个结构起码一年了它是没有进行任何变化的所以
只不过是去年这个 Audio Overview 就是播客火了之后才让大家去用的但是我发现很多人也只是玩这个功能而已没有真的把他整个知识库的能力给用起来那从 1.5 到 2.0 再到 2.5 因为 5 月 3 号他把模型切成了
G-Mind 2.5 Flash 切了之后呢我发现它明显提取的能力要强了不少当然还不是极强但是它比原来要强了非常多所以你在用的时候你会觉得还挺爽的就是它能够很好的提取然后找到支持的关联然后给出一定的洞察并且这些洞察都是有来源的
然后它有一些预设的一些功能比如 FAQ study guide 类似的一些这种能力预制在哪你点一下就能很快获得对应的内容其实就比如说我们来研究 Fromo AI 我把那 6 个文档因为文档质量比较高包括少男自己的播客语音转成的文字稿这里面东西你很快的它就能够给你把整个内容关键的点提取出来
嗯这里面我觉得是两个吧一个是尽管 flash 比 pro 的能力要差一点但是他的能力已经够用了所以他的推理能力是挺强的因为 205 flash 他是一个混合推理的模型然后第二个呢是嗯他是一个多模态的模型就你音频啊文字啊啊图像啊好像视频也可以就是他他是能够多模态的去理解的
然后第三个是它的窗口足够长它是 100 万 token100 万 token 呢那意味着说这 100 万其实对应的是 200 万字嘛所以你的这些文档如果本身没有超出这么大的这个上下方窗口的话它本身就是能够捞出来的啊就是这个捞多于少其实
你别光看它上下文窗口的长度我们在去年年中其实 Kimi 当时内测 200 万上下文的时候我们就试过 哇操 那么丢的是稀里哗啦的可能它的注意力只能拉住前 50%的部分内容其实大量的在丢东西你别看它说大海捞针的测试 99%点几妈的进去试一下垃圾的要死
但 Flash 到现在这个模型的能力已经足够强了所以它就是 86 不理 10 都能给你捞出来这个是挺大的差异的所以你也知道说包括包括这个便宜量大对吧这个 Gemline 在谷歌 AI Studio 里面或者是你用 EDU 邮箱去淘宝闲鱼买一个你就可以注册一个
Google One 的会员然后里面包含着 notebook Lm plus 的权益所以用起来是非常爽的 ok 所以它其实这个产品它背后就两点一个就是模型能力足够强并且模型本身在快速进化它用 flash 其实我觉得肯定也出于成本的考量也出于
响应速度的考量啊那 Pro 肯定是最好的但是相对较慢一点用 flash 呢就很好兼顾了另外一点呢谷歌的模型它的进化是很快的我觉得今年应该是啥时候是 2.0 啊我都有点忘了这没多久很快又到 2.5 了然后他现在因为这个包括他自己的 tpu 他的整个在对大模型的投入都非常的坚决所以
对吧昨天它的 2.5pro 又发了新版本新版本的在 web 上面的 coding 的能力又大幅的强化了所以你可以相信它我觉得可以相信它对如果现在 2.5 flash 那到比如说过三个月或者过半年一打开发现 3.0 flash 了那是对吧那效果肯定又更牛逼了所以它的 notebook m 总结来讲我觉得就 2 点
一个就是它本身的公司的模型足够好然后也可以很好的导入自己家生态的一些内容比如说谷歌 driver 的内容可以很好的方便的只录进来第二个是它的上下文窗口足够的长就它不用不容易丢东西不对第二个应该讲是它最核心的还是另外一点是它的产品的架构设计
它的架构是没有变的这个架构和模型的能力使得最终的效果非常的不错所以 Nodeplay MAM 是非常值得大家使用和学习的那像国内的腾讯的爱马哥 IMA 我觉得确实是非常的差劲
不得不批评一下这家公司做产品还在内部可能想赛还是要想着过去更多的流量当然我后飞了但是确实这么走的时候它会导致说更加迎合了大家收藏的焦虑反而没有办法能让大家真正用起来我觉得这一点上爱马哥是要值得好好优化的好吧今天就聊这么多
后面有机会会更多聊产品相关的东西因为这个跟我自己的规划会有很大的关系我在这个月会更多的精力把得到的两门课交付出来然后在下个月可能会开始研究出海方向的产品然后会开始更多的去做一些应用包括会去组建一些这种
再暂时不说了吧反正就会研究更多的产品去把模型的新能力包括一些对用户的一些理解整合进来去做一些产品好吧今天就聊这么多拜拜