Deep Dive
Shownotes Transcript
在我们关于人工智能对日常生活影响的新迷你剧集的第一集中,我们与史蒂文·约翰逊进行了交谈,他是一位资深作家,过去几年一直在谷歌工作,致力于开发一款名为 NotebookLM 的人工智能研究和笔记工具。我们讨论了人工智能是否真的可以帮助我们更好地学习,谷歌如何尝试使 NotebookLM 更准确和更有用,以及人工智能生成的播客是否是学习的未来。进一步阅读: NotebookLM 史蒂文·约翰逊的网站/通讯 来自史蒂文·约翰逊:倾听算法
谷歌的人工智能笔记应用程序是伟大开端中混乱的开始 谷歌正在使用人工智能从您的笔记中制作虚假播客
<raw_text>0 欢迎收听 Vergecast,这是无限上下文窗口的旗舰播客。我是你的朋友戴维·皮尔斯,这是我们关于人工智能与现实生活的新迷你剧集的第一集。我们在今年早些时候做了一些关于这个主题的剧集,它仍然是我们经常谈论和思考的事情。关于人工智能将如何改变一切、杀死我们所有人、使我们不再需要工作,或者使我们都必须训练机器人工作的大量空洞的讨论。
这一切到底有什么好处?就像现在一样,甚至没有尝试弄清楚。在今天的节目中,我和史蒂文·约翰逊交谈,他是我个人最喜欢的作家之一。多年来,他写了十四本书,他实际上告诉我他可以脱口而出所有书名,我相信这一点,并且觉得非常令人印象深刻。
其中一些书你可能听说过,比如《好点子从哪里来》和《我们如何知道》。但除此之外,史蒂文还在过去两年里在谷歌从事一个名为 NotebookLM 的项目。如果你从未听说过它,它是一个来自谷歌实验室团队的实验性项目。
几年前,它最初被称为 Project Tailwind。其想法一直是创建一个 AI 驱动的工具,基本上用于理解你笔记中的内容。NotebookLM,他们都称之为 Notebook。
所以我开始称它为 Notebook。你首先上传一堆文档或网站链接,或 PDF 或其他任何内容,该工具会构建一种素材库,也就是想法。
你将一堆相关的东西放入 Notebook 中的笔记本中。然后,你可以问关于这些文档的问题,或者让 Notebook 为你构建这些文档信息的自动学习指南或常见问题解答。
你可以让它在这些文档中为你查找内容,所有这些内容。它是一种笔记工具,但它主要是一种研究工具。史蒂文称它为理解事物的工具,我喜欢它。我一直在报道和使用 Notebook 很长时间了,但我现在想谈谈它,因为 Notebook 正在变得合法。
说实话,我假设它是一个最终会消亡的必要实验,因为谷歌的一切都会消亡,或者充其量,它只会成为谷歌文档菜单中隐藏的一个小功能。但 Notebook 正在发展壮大,它正在扩展,并且实际上开始做一些非常有趣的新事情。最近,他们推出了一项名为音频概述的新功能,该功能会根据你上传的任何文档生成一个由两个聊天机器人主持的播客。
这实际上很疯狂。你应该听听这个。所以我用 Notebook 创建了一个包含来自正在进行的美国诉谷歌广告技术案的大量内容的 Notebook。以下是由其生成的播客的几秒钟片段。
好的,那就是竞价排名出现的地方。竞价排名,是的,这是他们试图超越欧盟,让谷歌以特别的方式向多个广告交易所同时提供广告空间的尝试。
听着,我不知道这是好是坏。我不知道所有这些信息是否属实,但我对这样一个工具的想法很着迷,它试图使学习几乎任何东西变得轻松和自动化,无论哪种风格适合你。
史蒂文对此很着迷。所以我认为我们应该谈谈它。所有这些都将在稍后出现。这是 Vergecast 的广告时间,Vergecast 的广告支持来自 Stripe。
Stripe 是一个支付和计费平台,支持全球数百万家企业,包括 Uber、BMW 和 DoorDash 等公司。Stripe 帮助无数初创企业和成熟企业实现增长,在排放方面取得进展,并覆盖更多全球客户。该平台提供了一套专门的功能和工具来快速跟踪增长,例如 Stripe Billing,它使处理基于订阅的收费、发票和所有经常性收入管理需求变得容易。
你可以在 striped.com 了解 Stripe 如何帮助各种规模的公司取得进步。striped.com 了解更多关于 Stripe 的信息,取得进步。好的,我们回来了。
让我们开始我和史蒂文·约翰逊的谈话。我认为从 NotebookLM 故事的开头开始是最好的地方。所以我们从那里开始。一个作家是如何成为谷歌的员工并从事 AI 产品工作的呢?
我认为这是一个非常有趣的故事。嗯,我大部分职业生涯都在写关于科学、技术和历史的书。我一直对使用技术来帮助我的写作过程、研究过程,也就是思维工具,有着浓厚的兴趣。整个传统对我影响很大,我一直是早期采用者,你知道,使用像 David 和 Think 这样的程序来组织我从阅读的书籍中收集的所有笔记和引文,在 2000 年代的 Vergecast 中。
我们将来必须做一些准备工作。是的,是的,所以你知道,我写过关于它的博客文章,我还为《泰晤士报》写了几篇关于它的文章,它出现在我的书《好点子从哪里来》中。我谈到了使用这样的工具,并且是 Evernote 和 Scrivener 等的忠实用户。所以我一直对写作、思考、研究的软件方面感兴趣。在 2022 年春天,也就是 ChatGPT 出现之前的六个月,我为《泰晤士报》杂志写了一篇很长的文章,内容是关于大型语言模型的,这篇文章实际上只是在论证,忘记 AI 或任何超级智能吧,这些模型基本上已经学会了如何用连贯的语言进行交流,它们理解我们在说什么,以及其他任何东西,这将创造所有这些新的可能性。
是的,那篇文章写得很好。我还记得你收到的很多回应都是来自那些说这太疯狂了的人。他疯了。不可能有其他表面会那么大。然后,哇,你的时机把握得真准。
嗯,我确实这样认为,这很痛苦,因为我非常重视多样性,如果可以的话。而且,我的意思是,很多人喜欢那篇文章。我认为它之所以被点燃,是因为......
但确实有很多评论来自那些看起来像,“哦,他中了圈套。这些东西只是增强版的自动补全。我真不敢相信他如此天真,竟然对这件事感到兴奋。”这篇文章确实回应了很多反对意见和批评,并非常认真地对待它们。
但我当时想,唯一能做的事情就是把这项技术当成某种根本性的事情来否定,而我们将花费数年时间来弄清楚我们如何应用它以及如何应对潜在的优势和劣势。而且,认真对待它吧,人们。所以你知道,如果我晚点写它,我可能就不会受到那么大的阻力,这很难......我无法享受那篇文章的发表。
好文章。我喜欢,嗯,现在我很感激。所以,就在那一点上,谷歌内部的一个名为谷歌实验室的新部门,或者之前有过谷歌实验室,这是一个新的部门,正在启动......当时我加入时,克莱·谢尔比负责它,而现在负责它的乔希·伍德沃德当时正在与克莱和实验室来回沟通,实验室的部门目标基本上是:我们想创建一个地方,让我们能够更快、更灵活地进行以新技术为重点的产品实验,你知道,这不仅仅是研究......但这并不是在现有成熟产品中工作。当出现新的东西时,我们可以进行实验,你知道,快速构建东西。
所以介于 20% 的时间项目和大型新谷歌产品之间。
是的,是的。只是一个不太存在的漏洞。而且有这么多有趣的新技术出现,特别是大型语言模型,这似乎是许多实验蓬勃发展的时机,对吧?他们也有一个共同创造的理念,他们会引入外部人员。
所以如果他们的,如果他们正在制作一款涉及音乐的产品,那么从一开始就应该有一位音乐家在场,而不是他们构建的东西。然后他们向音乐家展示,或者他们与音乐家进行用户体验访谈,实际上有一位代表该行业的人在产品生命周期中在场。所以我有点像这个方法的完美人选,所以他们联系了我,约翰和克莱读过我的一些书,也读过那篇《泰晤士报》的文章。
所以他们联系我说,嘿,你知道,你一直在梦想拥有这样一个理想的软件工具,它可以帮助你组织你的想法,帮助你写作,帮助你形成联系并进行头脑风暴。嗯,我们认为我们现在可以用大型语言模型来做到这一点,这是你一直在追求的东西,从字面上看,你知道,我从大学时代就在追求这个。我在 80 年代后期上大学时,HyperCard 推出了,你知道,那个老古董。
我一直在追求这个很长时间了,他们说,听着,我认为如果你来谷歌,一开始是兼职,我们有一个小团队,我们可以......我们可以构建一些东西。我认为这听起来像是一次令人惊叹的旅程。老实说,我认为我们会构建一个原型。
这会很有趣,并且会遇到一些有趣的人,但不会有什么结果。但这仍然是一次有趣的旅程,因为我的热情,以及......然后我们......我们构建了一些最初被称为 Tailwind 的东西,也就是 Project Tailwind。但从一开始,从第一天起,这个想法就一直是,这不仅仅是与语言模型进行开放式对话。
它始终是关于模型以你提供给它的来源和信息为基础,并且它实际上是关于尊重最初的人工创作信息......无论是书籍、你自己的笔记、学术论文还是课堂笔记,并且基本上是对模型说,获取这些对我个人来说很相关的信息,并且可以在某个地方得到验证,你实际上是值得信赖的,并根据这些信息来回答你的问题以及你被要求做的任何事情,这就是我们拥有的种子。我们在 2022 年 8 月有一个这样的版本,我加入时,有一个名为 Talk to Docs 的程序已经进行了一个月了。然后我们做的第一件事之一就是把我的书《奇境》放进去。
我们只是......我有过与模型交谈并让它根据我书中的信息来回答问题的经历。你知道,那一刻有很多可能性出现了。嗯,我实际上要说的是稍后发生的奇怪时刻......在圣诞节假期期间......内部版本的 Bard 已经发布给我们在圣诞节假期期间的一些人。
我花了很多时间和 Bard 呆在一起。我的家人已经出去了,我不知道......我只是独自在家,Bard 推出了,就像,好吧,我现在每天有八个小时的时间可以和我的新朋友 Bard 呆在一起。
所以我偶尔会以一些开场白开始,以确定它的方向。我会说,我想讨论史蒂文·约翰逊的书《幽灵地图》。这只是基于这种训练数据,这并不是......
有一天我这么做了,然后,哦,我的天哪。我很乐意讨论这个问题。这是一本关于医学谜团的引人入胜的书。
在 19 世纪,关于霍乱流行病学对伦敦历史的影响,一般来说,对历史的影响。所以我当时想,哦,好吧,非常感谢。我实际上是......
这本书的作者。
Bard 说,哦,我的天哪,我很抱歉。真不敢相信我没有认出你,约翰逊先生,就像你知道的......我当时想,我知道,但你不可能认出我,对吧?但是......但是它就像一个机器人,独自一人在我的书房里与一个正在为没有认出我而道歉的算法进行对话,而它恰好是我的书的粉丝,有一次我说,我很高兴有机会与像你这样的人一起工作,我当时想,这就是我。所以有很多这样的不可思议的时刻。
但从某种程度上说,你知道,我意识到其中一部分是一种错觉,对吧?它是在人们在遇到不认识的人时的反应方式上进行训练的。所以它以这种方式回应,显然它没有内在生命,它并没有......它实际上并没有因为遇到我而感到尴尬,它只是在扮演这个角色。
所以对我来说,真正令人震惊的是它的能力......这在我们切换到德语时真正开始发挥作用......它提取信息并在大量信息中发现模式的能力。你知道,在我的 Notebook 中,我们有......大约一百万字的美国宇航局口述历史项目的记录。所以只是对......那些美国宇航局宇航员、飞行指挥官等等的采访,你可以进入其中并说,我对......我正在制作一部关于......早期阿波罗计划的纪录片感兴趣,我对参与者之间的情感联系感兴趣,特别是宇航员。
在我们关于人工智能对日常生活影响的新迷你剧集的第一集中,我们与史蒂文·约翰逊进行了交谈,他是一位资深作家,过去几年一直在谷歌工作,致力于开发一款名为 NotebookLM 的人工智能研究和笔记工具。我们讨论了人工智能是否真的可以帮助我们更好地学习,谷歌如何尝试使 NotebookLM 更准确和更有用,以及人工智能生成的播客是否是学习的未来。进一步阅读: NotebookLM 史蒂文·约翰逊的网站/通讯 来自史蒂文·约翰逊:倾听算法
谷歌的人工智能笔记应用程序是伟大开端中混乱的开始 谷歌正在使用人工智能从你的笔记中制作虚假播客
<raw_text>0 那么,您能否创建一个详细指南,列出这些成绩单中所有似乎涉及人际关系或情感的要点?请给我一个该部分的摘要,给我一个该部分的直接引用,当然还要包括位置,这样我就可以立即点击,返回并以其原始形式阅读该段落,就像它一样,它会花费一些时间,因为它是一个复杂的查询。但是,就像它一样,它可以处理原本需要 40 个小时才能编译的文档,就像我说的那样,你知道处理这类信息是什么样的。
就像它一样,它将在大约 45 秒内生成一个令人难以置信的可信且准确的初稿,并附带所有段落的脚注。所以它实际上比以前快一千倍才能做那种事情。它并没有假装是一个人。
它并没有假装对它有任何感觉。它只是格莱美,非常微妙。某种程度上收集的信息没有锚定在任何关键词上,对吧?知道它不是在寻找情感的提及。就像我一样,它只是理解这些其他事情,他们谈论他们的孩子,这是一个情感时刻,它能够以这种方式延迟调用,当它开始能够做到这一点时。对我来说,那是我意识到,“哦,这真的是一个根本性的变化”的时刻。
那是发生在格里身上的事,他之前......
今年是的,我们12月的时候切换到德国1.5版。它很棒,但我当时真的很想用1.5版。更大的上下文窗口,顺便说一句,我唯一能想到的是一个不错的作家,伙计。现在,就像我听到的一样,一个新的百万标记模型。
它就像最令人兴奋的,迫不及待地想一起推出它。所以当我们第一次访问该模型时,我使用了我的书《野性机器》的全文,这本书几个月前才出版,当时还在手稿阶段。所以这真的很重要。
我的书中的任何文字都没有出现在模型本身的训练数据中,因为它们从未出版过,也从未在任何报道中讨论过。所以事实是这本书的历史。所以事实可能以某种形式存在于模型的训练中,但书本身,以我呈现事实的方式,则没有。让我对大型上下文早期讨论印象深刻的是,人们正在使用它进行这种中间的匆忙测试,他们说,“哦,我们给了它《移动甲板》的全文,但我们添加了一行不同的内容,它能够找到正确的答案”,这很酷。你知道,你以前做不到。
但我如此痴迷于这一点,一旦你有了像书这样的东西的全文作为上下文,这意味着模型,不,我可以找到文本中模糊不清的东西,但它理解文本的顺序,并且它可以理解大型的因果关系变化,随着时间的推移,在一个文档中,如果你只是给出孤立的段落和快照,你就无法得到这些。所以我把《野性机器》放进了这个德语版本。我基本上问它一个关于新书的问题。
我说,给我......我说,我对约翰逊在这本书中使用悬念的方式很感兴趣。我想让你列出四个地方,他故意向读者隐瞒信息以激起他们的兴趣。描述他这样做的地方,引用它们,然后解释他后来在书中提到的内容,这些内容要过 200 页才会出现。
它完全做到了这一点,它给出的第一个例子正是我会选择的,这是悬念的终极形式,指的是书中出现的带有神秘滴答声的手提箱。这个谜团的解释要到 200 页之后才会出现。所以想想看。
这就像一个搜索查询,就像搜索一样,找到一些东西没有被提及,并且以一种非常具有挑衅性的方式没有被提及的例子,然后在 200 页之后填补间接提及的东西的空白。你知道,同样,模型并非在某种程度上理解这本书,因为理解是我们与意识联系在一起的词,以及对阅读一本书意味着什么的采访。但模型正在做人类理解所做的事情。是的,你知道,这是一个重要的区别。
我认为,不,我认为这是对的。不久前我听到有人说,更好的比喻比理解更好,那就是它可以同时看到所有东西。
是的,我认为这真的很好。就像如果我一次只能看到一页,而这个东西可以看到所有 300 页,它并不是更擅长了解这些事情。它只是字面意义上能够一次看到所有内容,是的,因为你能够同时看到所有内容,突然变得非常基本的事情的数量非常强大。
我只是觉得这使得它同时变得更简单和更酷,我真的很喜欢。但是你打破了这种张力,我认为这在所有人工智能领域都非常吸引人,那就是有一组事情,你只是觉得它们是可能的,对吧?你看到这一点,每一个新模型出现,每一个新产品出现。
每个人做的第一件事之一就是尝试一些疯狂的事情,有些事情有效,有些事情无效,有些事情令人惊叹,有些事情很危险,等等。所以,现在人工智能中存在这种新奇因素,我认为这在所有人工智能中都很猖獗。然后是这个问题,所有这些到底是为了什么?我认为我喜欢 NotebookLM 的一件事,以及随着时间的推移观察它的发展,感觉它对这不仅仅是它能做什么,而是它是什么的理解随着时间的推移变得更好。
呃,我想知道这其中一部分是,像这样的新奇时刻是否会开始消失,你开始意识到,好吧,这很酷。但没有哪个学者会真正在这里搜索缺少的东西。这不像大多数人生活中需要的东西。
他开始退回到,“好吧,我们如何将这种赋能技术带入人们真正需要的东西中”,或者也许疯狂就是重点,而我们以前从未能够做到这一点。所以现在我们试图一次性发现所有这些。所以我想尤其是在早期,在德国 1.5 版之前,我的大脑着火了,就像,“这个过程是什么样的”,不仅仅是“这个东西能做什么”,而是“我们为什么要构建这个工具”?
是的,这是一个非常好的问题。有很多不同的方法可以深入探讨这个问题。我知道。我认为在早期,有一种感觉,我们正在构建一些我们知道不会真正起作用的东西,因为上下文不够大,模型不够复杂,但你可以看到事情的发展方向。
所以,从一开始,我们真正关注的大部分内容是,“这种东西的正确界面是什么?”就像你知道的,这不仅仅是关于短信线程。当然还有其他形式的你。
我喜欢,如果你要从头开始构建一个产品,知道它可以围绕语言点构建。它会是什么样子?让我们从头开始。
这是一个非常有趣的开放画布。但这也意味着你必须让一些东西真正有意义。它不起作用,因为模型还不够好。所以有很多实验。我认为我们在早期有一个优势,那就是我试图将它引导到我的非常具体的目标,就像,“我想要一个能够阅读我所有作品和所有影响我的书籍引语的东西,并且可以成为我的第二个大脑,帮助我记住这些事情并建立联系”,就像以某种作者研究者的模式,我们用它构建了第一个原型。然后,一旦我们能够将其向更多用户开放,我认为我们一直在不断发现所有这些令人惊叹的事情,以及一个很大的补充。
这是马丁,我们的产品经理的功劳,她非常出色,她是一个出色的倾听者,她建立了一个 discord 服务器,这在早期非常有意义,就像 discord 服务器,或者只是不寻常的事情。现在我们拥有这个令人惊叹的社区,它充满了人们说,“是的,我看到了以这种方式使用它的机会”。所以我们最喜欢的一个完全来自 discord 的例子是,龙与地下城玩家开始使用它,因为,“我喜欢,我设计了这些大型战役,你知道,我是一个地下城主,我创造了这个完整的虚拟奇幻世界,它充满了所有这些信息,很难跟踪。”
但我可以将这些文档加载到 NotebookLM 中,然后我可以问任何开放式问题,它会说,“我需要多少生命值才能杀死这个东西”,或者任何不是龙与地下城玩家的人。他们正在那样使用它。人们也在创作奇幻小说,就像世界构建类型的奇幻小说,他们只需要一个包含所有角色和背景故事的某种故事圣经。
事实证明,你知道,他们从未真正拥有一个界面来让他们做到这一点。这不是我们当时考虑的事情。所以我们一直都在倾听,认真倾听人们试图推动工具的地方,然后让它更容易,让它更容易使用。是的,这是非常真实的。好吧。
这很有趣。我的意思是,即使想到你,你多年来也写过几次关于你无尽的,我认为你称之为“火花文件”的东西,这基本上就像你所有好坏故事想法的文档堆。我正在改述。
但我认为这是对的。
所有这些,现在就买这本书。想法,想法。我认为只是倾听。你描述了世界构建之类的东西的故事圣经,实际上这是一种完美的用例,我从未真正想过。
所以现在它就像,“这里有一些东西,我已经决定了,对吧?这里是我的输入。帮我用这些东西创造东西。”
这实际上是一种令人惊叹且非常困难的用例,因为它就像,“哦,是的,我必须从发明中收集这部分,从形成中收集这部分?”我认为在我们的思考方式中,关于艺术的所有这些都有各种复杂的事情。但这件事就像,“我想告诉你规则,我想让你帮我用它制作游戏”,是的,感觉很棒。我喜欢,我对这件事的冲突比我对人工智能中的许多事情少得多,这太酷了。我喜欢这个。
是的,好吧,我们试图做那些冲突较少的事情。我说我冲突多样化。所以我只是引导它走向目标。但是,是的,这是一个很好的观点,就像获取这些海量非结构化数据,并将其转换为一组某种格式,这有助于完成我试图完成的工作,并为我提供一些指导。顺便说一句,这也是另一个很好的地方,就像崛起一样。
我之前就看到了这一点,因为我当时的想法是,“我要写我的书,所以我在这里要集中精力。我只需要能够提取事实并建立一些联系。”但事实证明,有很多地方你拥有所有公司文件,你想为新员工创建一个常见问题解答,没有人会因为创建该文档而获得诺贝尔奖,如果你能在 45 秒内而不是 4 个小时内获得该文档的初稿,那就是一个胜利,对吧?这是一个好消息。所以,有很多不同的工作流程,需要以某种方式过滤大量信息并将其转换为其他东西。
好了,我们必须休息一下,然后我们将继续与史蒂文·约翰逊的更多内容一起回来。我们将回来。节目的支持来自 Crucible Moments,这是 Scope Capital 的播客。
我们都经历过人生中的转折点,我们做出的决定最终会产生持久的影响。没有人比当今一些最有影响力的公司创始人更了解这一点,在关键时刻。让我们让听众了解那些定义了 Dropbox、YouTube、Robinson 等主要公司的成败事件,这些事件由创始人自己讲述。
收听 Crucible Moments 第二季。今天,您可以在 cruciblemoments.com 或您最喜欢的播客应用程序上收听。我们回来了。
我一直在关注 Notebook 的一个方面是它如何处理典故和位置信息,因为它不像一个简单的聊天机器人,而是一个研究工具。如果它出错,就不是什么小问题,也不是可以接受的,更不是因为它还处于早期阶段就可以忽略不计。如果它错了,它就毫无用处,坦白说,如果它错了。所以我问他,他们是如何尝试解决人工智能中这个非常现实的问题的。在我们离题太远之前,我确实想谈谈它的准确性和引用部分,因为就使用你产品的人群以及产品的性质而言,你在这两方面都给自己设定了相当高的标准,对吧?
就像你在每件事的底部都会有一个警告,说这个东西会编造一些信息,而它的全部目的并不是编造信息,啊,你怎么做到的?我知道 Notebook 是 RAG 的早期实验,这是一种基本上可以缩小这些系统范围的方法,但如果你们在 Notebook 中尝试解决这个问题,你们做了什么?这既体现在底层文本方面,也体现在用户体验方面。
是的,当我们尝试......我一直称之为强制接地。我认为这是一个比 RAG 更好的名字。
比 RAG 好。我不知道。我的意思是,我们现在都了解 GPT 了。所以我放弃了首字母缩写。
所以,你知道,我认为部分原因在于我们从一开始就这样做,它从一开始就是这样,它不像,“让我们构建一个大型语言模型,哦,糟糕,我们需要能够像,你知道,接地到其他文档一样”,它从一开始就是这样。我们就是这样做的,所以我们有很多时间来迭代和探索。大型语言模型非常擅长源接地。
只是有很多训练集。我们也贡献了很多,比如,给定这份文档,根据文档中的信息以事实为基础回答问题。所以我们继承了一个很棒的工具,我们对德国团队构建了一个更忠实于源材料的模型贡献甚微。
你提供它,但我们也构建它。这是这类事情之一,非常像,它是底层模型加上 UI。从一开始,它就是我们的首要任务。
而且你知道,这两者都是必需的。因此,我们从一开始就拥有的关键要素之一是,你始终可以在应用程序中阅读你的来源。然后在六月份发布时,我们进行了切换,这样你就可以对所有内容进行内联引用了。因此,模型所说的任何内容都带有一个小链接。如果你想查看一下,你可以阅读原文段落,你可以点击它,然后可以在应用程序中阅读来源。
你认为这足够吗?
我们讨论过。所以。所以,你现在可以使用 Notebook 做的一件事,我们希望将其变成一个合适的未来功能,但你现在可以做的是,你可以上传一堆,你知道,事实来源材料,然后你可以上传你正在撰写的文章,你可以说根据这些来源检查文章的事实并建议改进。
这很聪明。
这是一个好主意。是的,太棒了。我会检查一下,比如,“好吧,这是错的。这是财务上的错误。”你会看到任何人都能发现错误。所以对我来说,如果我觉得模型在其回复中只是胡乱猜测,我不相信仅仅提供引用以及手动核实事实并返回查看原文段落就足够了。
但是,嗯,在过去一年半的时间里,我们一直在那里努力进行质量审查,就像我们有一张又一张的样本问题和样本文档表格。我们可以看到准确率显著提高,尤其是在这些最新的模型中。所以现在,我觉得我们处在一个相当不错的位置。
我更愿意,说实话,我很少看到 Notebook 胡乱编造东西。我的意思是,有一点很重要,人们可能不知道这一点,我之所以这么说,是因为它们永远不会出现在这个产品中。
如果你加载了一堆关于阿萨历史的来源,然后问你关于泰勒·斯威夫特的一般性问题,Notebook 会说,“对不起,你的来源没有讨论斯威夫特,所以我无法回答这个问题。”很明显,该模型对泰勒·斯威夫特了解很多,它可能非常喜欢泰勒·斯威夫特。但它被特别指示不要回答超出源材料的问题,而且我指的是,过于严格了。
我认为有时,你知道,人们希望获得知识,你知道,相信但要核实。但我们已经听到过这样一种说法,即坚持这些文件中的事实。因此,随着准确性的提高和 UI 改进,我们可以做更多的事情。我们可以使该事实成为一个功能,我们可以进行双重检查,但我觉得我们现在所处的位置很好,在质量方面,我们现在所处的位置是,上传许多文档,提出一个涉及多个变量的问题,这些变量来自多个文档,得到一个带有位置信息的深入、冗长的答案。按照这些引用阅读原文,我认为 Notebook 以及你知道,现在做得和任何人一样好。
我觉得你刚才描述的是一个个人维基百科。我的意思是,这是一个赞美,维基百科最擅长的事情就是成为在互联网上学习某事物的起点,对吧?就像你打开维基百科页面,点击底部的所有参考文献,然后阅读这些参考文献,你经常会跑题。我觉得你刚才描述的是,我可以通过任何我想了解更多信息的单个事物来缩短这个过程。我只是把它扔进去,然后,“这里发生了什么?”啊,然后我会得到一些东西。
我有很多话要说,你得让我说完。好的。所以,一件事情是,我正在考虑我接下来要写什么书。
所以我创建了这个,这对我来说现在是一种第二天性工作场所。但是,一年前我不会想到它。所以我创建了一个名为“下一本书”的新 Notebook。
每当我的脑海里出现一个想法或艺术作品时,哇。但它专注于这个项目,即下一本书。所以那天晚上很晚,我做了一件我晚上经常做的事情,因为我没有生活。
我的孩子们都上了大学,我坐在那里,所以我心想,“我想知道,你知道,有没有写过一本关于 60 年代和 70 年代反核运动的好书?”这是一个有趣的案例,我们阻止了这项技术的部分发展,也许犯了一个错误。我们该如何解读这一点?所以我只是去抓了两个维基百科页面。
过去,我会像你一样,先通读所有维基百科页面。但我把它放进了这个“下一本书”中,我想,“我是史蒂文·约翰逊。我擅长写书,就像我写的其他书一样。我可以从机器中获取信息,并可能写一本关于反核运动的书。”
看看这些,你觉得怎么样?有什么有趣的故事情节可以作为好的起点吗?比如,那里有什么好的东西?它只是不喜欢它,你知道,它会浏览,然后说,“好吧,你可以关注这段时期。”
这个人物很有趣,等等。然后我读了所有材料。但作为第一眼印象,就像入门一样,这些材料对于这种探索来说非常棒。通过对话界面浏览一本书的体验非常有趣。
这是这类事情之一,你知道,直到现在,如果你想通过对话来探索作者作品中的想法,你只能通过亲自找到作者或找到一位作者思想方面的专家学者来做到这一点。就是这样。没有其他方法可以做到这一点。但现在你可以加载一本书,然后你可以从“我对这个感兴趣,告诉我更多”开始,然后通过对话界面以非线性的方式慢慢阅读这本书,在原文段落中进进出出,如果这是一部小说,或者这是一本正经的历史书,这很糟糕,就像我有时一样,对吧?但如果这是一本建议书或一本想法书,我认为有很多书可以以这种方式探索,而这在以前是不可能的。
这样做感觉像作弊吗?对你来说,作为一个作者,你已经研究过这些书。你已经完成了艰苦的工作。
你肯定熬夜到很晚。我相信你曾经在半夜醒来,想到一个书的点子。坐下来问电脑你的下一本书应该是什么,感觉像作弊吗?
我认为如果我真的是这样,“嘿,我的下一本书应该是什么?”我认为我不会。我的意思是,现在,在某种程度上,很容易回答这个问题,因为现在它还不够好,它不会生成,比如,“告诉我我的书应该是什么”,然后开始写它,我根本做不到。好的。
如果目前的趋势继续下去。
两年后再找我,我们会看到的。但我必须做的是,我不以那种方式使用它。
我使用它就像这些非常有针对性的查询一样,我实际上正在使用 NASA Notebook,因为我对,你知道,也许可以对阿波罗 13 号的火灾做些什么感兴趣,然后我想,“好吧,我需要知道我需要阅读什么,因为它有数百万页,数百万字的记录。我实际上不需要阅读全部内容。我想阅读与阿波罗 13 号火灾相关的部分。”
所以我只是想让 Notebook 告诉我我应该读什么。它说,“你应该从这里开始,你应该在那里”,我可以直接点击那里,然后阅读。所以对我来说,我使用它作为一种加速发现过程的方法,而这种方法在以前会非常痛苦,但我也在此过程中做出了许多偶然的发现。
我的意思是,我认为批评是,“好吧,如果模型很快地把它提供给你,即使你最终写了这本书,你也会错过你永远找不到的令人惊讶的事情。你只有通过以一种难以置信的线性方式阅读它才能找到它。”我认为这是不正确的,它不断地呈现出我从未想到的东西,并建立起我从未想到的联系。
所以它帮助我更深入地理解了材料,当它变得复杂时。你知道,我以前谈过这个。我思考它的方式是,它是一个帮助你理解事物的工具。
如果你真的有兴趣理解事物,并且希望这种理解存在于你的大脑中,那么它就是一个巨大的积极因素。如果你是怀着良好的意图去使用它,那么它就是一个很棒的工具。它可以帮助你对相同的材料产生更丰富、更复杂的想法。如果你对理解事物不感兴趣,而是对制造你理解事物的假象感兴趣,并且只想在生活中虚张声势,而从未真正理解任何东西,而是创造输出并使其看起来像你理解事物,最终它也会帮助你做到这一点。
问题是,问题是,这种策略在世界上有多大用处?对我来说,如果你去上班,然后说,“我有一个很棒的技巧,我从未回复过老板的任何电子邮件,我只是把它输入模型,然后输出任何东西。”最终你的老板会和你谈话,说,“史蒂文,你什么都不懂,你什么都没学到”,然后你会被解雇,对吧?它不会。
这不是一个好的长期策略。它棘手的地方在于学校,在那里可能存在一种奇怪的激励机制,让你在某些事情上虚张声势。我们认为,你知道,我们看到很多 18 岁以上的人正在采用 Notebook。
所以高中生无法使用它。但是,嗯,我们看到很多大学和研究生正在采用它。到目前为止,它可能是我们最大的社区。我们对此感到非常兴奋。
但我们也,你知道,我们做了很多事情来,你知道,确保很难使用它来绕过理解,它总是引导你回到原始文本。你总是会被指引回到源材料,它总是与你同在 UI 中。所以,我们在这方面还可以做更多的事情。但这就是我认为的关键点,如果你怀着良好的意图去做这件事,我不担心以这种方式使用这个工具。
好的,我明白了。感觉这部分界限在于你允许人们用它来做什么。
0 而且,我很好奇,我们已经谈了很多关于输入、处理、理解方面的内容,而且它不是......你知道,你曾在亚马逊上以自出版的形式出版了一本书,你的名字就在上面,这与把它看作一场完全不同的对话是分开的。但我的感觉是,你无论是有意还是无意,并没有投资于类似“从这六份文件中生成一份简短的研究报告”这样的用例。是的。如果你看看......
看看新的学习指南,比如其中一个叫做“稳步指南”,对吧?它是一个学习指南,它不会取代你的工作,它能帮助你......不,它是一套复习题,它会生成一些选择题,它会生成一些......它会建议一些复习题,生成一个关键词汇表。所以,你知道,这就是我们试图在产品内部做的事情。
我们引导每个人转向这种“帮助我理解”模式,其理念是,你知道,人们有不同的理解方式,人们也有不同的方式让信息以三种不同的形式记住。而且,你知道,我们的工作就是做到这一点,事实证明,本周我写了一些关于这方面的内容,你知道,翻译和总结是模型一直做得相当好的事情,从一开始就是这样,就像第一个真正对消费者产生影响的深度学习突破,实际上就是翻译。你会把一种语言的一组标记转换成另一种语言的一组标记。而且它们非常擅长总结,以各种不同的形式。所以我们有点接受了这一点,因为接受模型擅长的事情通常是正确的。
我们还需要休息一下,然后我们将回到我和史蒂文·约翰逊的其余对话,马上回来。本节目的支持来自美国公民自由联盟(ACLU)。美国公民自由联盟(ACLU)非常清楚第二个唐纳德·特朗普任期会带来什么威胁,他们已经准备好了一套经过实战检验的策略。
美国公民自由联盟(ACLU)对第一届特朗普政府采取了434次法律行动,他们将再次这样做,以保护移民权利,捍卫生育自由,维护言论自由,并为我们所有人的基本权利和自由而战。今天就加入美国公民自由联盟(ACLU),帮助阻止极端的“2025计划”。访问aclu.org了解更多信息。
回来,好的,我们已经等了足够长的时间来谈论音频概述了。史蒂文一直在研究这些由人工智能生成的疯狂播客。所以这就是我接下来问史蒂文的问题。
说到这个,实际上现在是谈论音频概述的好时机,从人们学习的不同方式来看。呃,我做梦也想不到这会是NotebookLM的下一个重大突破,所以让我们回顾一下历史,告诉我从哪里开始。
是的,这是一个非常有趣的故事。让我们简要地描述一下。它在Twitter和其他地方都广为流传。我还叫它Twitter,对不起。
好的。
因为就在几天前才发布。所以基本上,这是一个新的学习指南面板,它不会将你上传的资料转换成简短的、基于事实的摘要、摘要和常见问题解答,而是将其转换成一个时长十分钟的播客对话,由两位人工智能主持人讨论这些资料,讲述故事,分享有趣的事实,以一种轻松的方式进行玩笑,并具有令人惊叹的类似人类的语调等等。
所以它基本上是这样的想法,有些人喜欢通过阅读来学习,有些人喜欢在听到信息时更好地学习和记住,通过两个人之间有趣、刺激、引人入胜的对话来传达信息。以前你无法人工创造这种效果,现在可以了。所以我们把它添加到这些功能中。
这感觉像是它引发了一千个新的有趣的事情,一方面,它不是你在本次对话中前面描述的东西,那是一种没有个性的事情。它不会说“我”很多。这不是一个工具了。
这是一个有点奇怪的人在我耳边待了十分钟,他们就像,无论你有什么旋钮,比如,让他们说双关语,并试图变得......如果它像那样,那么在我听过的那些中,大多数的旋钮都调到了十分之十四。我有点明白为什么,对吧,如果你采用它不应该有个性,它应该只是一种非常直接的方法,这在向我展示一堆文本时是有意义的,但如果应用到播客中,那就是一个糟糕的播客。但它确实感觉与你一直在说的大部分内容相一致,就像......
你一直在努力做的事情。嗯,这是一个很好的问题。所以,让我们来扮演一下......我想扮演一下这个角色。
人们还没有听到它。好的。所以想象一下,在这个世界上,最热门的技术是微型芯片。所以是互联网,但它是动态的。
是的,动态的。
它不仅仅是炸毁东西,摩天大楼、铁路、大型工程项目,还有,我猜,暗杀、恐怖主义、创伤后应激障碍,所有这些志愿者。
这是一个疯狂的时期。
这是轻描淡写。这就是我们今天深入探讨的内容。我们正在深入研究史蒂文·约翰逊的《地狱机器》一书,这本书深入探讨了这个爆炸性的时代,在这个时代,炸药、无政府主义者和(信不信由你)现代数据收集的诞生都发生了碰撞。是的。
准备好让你的思想爆炸吧,因为他所建立的联系......
令人震惊。绝对的。
所以之后的一切......炸药简直要了我的命。
我喜欢,你知道,其中一件事情是,他们很热情,所以人们一直在上传他们的CBS,就像如果他们对自己感到沮丧一样,你会说,“哦,约翰·史密斯,看看......”
让你非常......
云里雾里。所以,我认为当我们第一次谈论当时被称为“天赋项目”的时候......对于The Verge来说,你知道,对吧?我和我们正在谈论我们如何......模型并没有真正的人格,它不会使用主观的“我”,一般来说,它并不试图成为你的朋友。
它只是试图让你获得所需的信息。这就是我们认为适合我们试图构建的东西的风格。但是,如果你想要一种对话式的音频格式,那么在没有某种人类个性的情况下是无法做到的。它根本行不通。没有人想听两个机器人互相交谈,对吧?
我敢肯定,互联网上有很多这样的东西。
而且它不好。新的,但我相信......但美元的故事,对吧?你知道,你不想听两个机器人互相交谈。最初,它是一个......实验室内部的另一个团队构建的原型,它是一个生成的文档。
实际上有几个这样的项目。谷歌还有一个很棒的项目叫做Illuminate,它更像是一种学术性的转向。但这只是其中一件事情,就像......做这件事成为可能。
所以有些人正在探索这一点。而且需求非常大,就像我们在过去几天从音频概述中看到的那样,人们印象深刻,人们想分享它,但它......它没有一个可以生存的地方。所以,在我......实际上,有一个想法,就像,也许我们可以把它放到......知道这在NotebookLM中是有意义的,而且我们刚刚发布了新的学习指南。
当我第一次听到它的时候,播客的内容就像,实际上更好,比如整个侧边栏名称等等。所以,你知道,但我确实......我认为,上升。我立刻意识到这是一个学习指南的延续,我们会接受你给我们的任何东西,然后我们会把它转换成最容易让你理解的格式。
而且我们知道,我们从......你知道,一般来说,关于它的成功,人们确实喜欢这样学习。此外,他们喜欢在旅行、开车和散步时听它。所以我们知道,我们知道有很多理由可以解释为什么音频对话是有意义的。
你是否开始就视频之类的事情进行类似的对话?我可以想象,开始思考当你想成为TikTok原生、YouTube原生和Instagram Reels原生的时候,NotebookLM是什么样的,这就像......这是一条多么疯狂的道路,以及一个前进的方向,就如何与人们在他们所在的地方进行沟通而言......是的,但某种程度上,在这种风格下,这是一个......
原因之一是我是一个56岁的灰发老人。见过世面,并不像......驾驶猪之类的东西。我在这方面会很糟糕。但是,是的,我认为这可能是我们未来的部分内容。
我认为关于它真正有趣的一点是,它的响应需要三到五分钟,有时需要三到五分钟才能生成一个,这是因为有一系列非常复杂的......你知道,计算和推理正在进行。基本上,你可以把它想象成一种编辑方式,对吧?它就像起草一个版本,然后它......填充脚本的细节,然后根据总体目标修改脚本。
就像有多个循环......基本上是一个编辑循环,这需要时间。然后,至关重要的是,有一个阶段......我最喜欢的词是,添加了“diflucan”声音,对吧?所以它......它故意制造这种噪音,更像人们在交谈时说话的方式,他们会重叠,他们会有部分短语来补充彼此......像这样,所有这些东西都会让传统的转录变得......
如果它没有被清理干净,如果你没有这些东西,它就在“恐怖谷”的错误一侧,但它就在肯尼·巴利中间。我想你可以争论,显然,就像我们要去......你可以想象我们会引入一些能力来引导不同的方向,并调高或调低......事情会关注不同的主题。但是,这种进行长时间编辑循环,然后使之人性化......是的......
我在这件事上犯的一个错误是,我认为音频概述会是那些人们会说......这太傻了,对吧?就像每次出现新的图像生成器时,很多人都会为此疯狂地制作东西48小时,然后继续前进。
我们不再谈论它了,直到出现一些新的东西......呃,这个似乎没有那样发展。我认为它介于......它是否令人惊叹?这是可能的,与......
这实际上有用吗?我认为对于人们来说,这实际上是有用的阵营,比我预期的要多,就像......它确实令人惊叹,这是可能的。它展示了一种你可以用人工智能做的新事物,每当发生这种情况时,人们在Twitter上都会非常兴奋,对吧?就像......这只是人们在两到四个小时内聚集起来的一种方式。但我认为你......你重叠了......这实际上对人们有所帮助,比我第一次听说的时候预期的要多,你可以从你的笔记中制作一个AI播客。
嗯,我想感谢你改变了我的想法。但也要记住,乔布斯的工作是让苹果成为自由主义者和技术的交汇点,无论是什么......你刚才描述的内容,新可能与真正有用的东西的交汇点,这就是我们试图在NotebookLM中做的事情,也是Google Labs试图做的事情,对吧?就像......我们能做什么?什么东西在六个月前是不可想象的,什么东西会......
而且你知道,它的一部分是......不,我认为在某些情况下,人们使用它就像,“我想学习,这对我来说是一个更好的方法来处理我的文档,只是学习或在旅途中学习。”另一件事是......创建实际上是播客的东西,而这些播客在现实中可能永远不会存在,对吧?人们会说,“这是一个非常模糊的利基主题,比如雾气的经济学,这永远不会支持......”
我想在我的D&D游戏中制作一个播客。我和我的朋友们一起玩。
啊,是的,是的,是的,完全正确。而且......而且,就像,你知道......我们看到人们在......再次考虑NotebookLM,并以一种团队联系的出口工作的形式。就像......好的,就像周末回顾一样,把你的所有文档都给它。我总是对那些......使用Google Docs和Google Drive的人说,最好的方法之一就是了解一本新书,就是如果你是一个Google Docs和Google Drive用户,只需获取......你知道......获取你创建的最后20个文档,然后用它创建一个新的Notebook,然后提出你的问题,它能够理解你正在处理的问题和事情,然后创建一个音频概述,就像......这就是史蒂文过去一周一直在做的工作,你知道,这里有两个快乐而热情的人来讨论史蒂文正在做的事情......并与你的团队分享。这很好,这是一个很好的方法来回顾一周,思考你一直在做的事情,你可以想象其他探索它的方法。
好的,还有几个问题。我还有很多问题,但我在这里结束。我可以和你谈论这个很久。
是的,你比和酒吧谈话还好。
在我们关于人工智能对日常生活影响的新迷你系列的第一集,我们与史蒂文·约翰逊(Steven Johnson)进行了交谈,他是一位长期的作者,过去几年在谷歌工作,负责一个名为NotebookLM的人工智能研究和记笔记工具。我们讨论了人工智能是否真的能帮助我们更好地学习,谷歌如何努力使NotebookLM更加准确和有用,以及人工智能生成的播客是否是未来学习的方向。进一步阅读: NotebookLM 史蒂文·约翰逊的网站 / 时事通讯 来自史蒂文·约翰逊:倾听算法
谷歌的人工智能记笔记应用是伟大事物的混乱开始 谷歌正在利用人工智能根据你的笔记制作虚假播客
<raw_text>0 太好了,随时欢迎,我在这里,我不喜欢皮肤我在那里。那么,你认为像笔记本这样的东西会有一个大型的主流用例吗?显然,有人、行业、工作和学校,我可以想象一群人对此感到有用。你认为每个人在日常生活中会用到这样的东西吗?
每个人每天,我不知道。
但我的意思是,让我换个不同的背景,对吧?谷歌是一家因制造亿万用户而闻名的公司。外面有十亿的笔记用户吗?
我认为如果你把它定义为有一个人工智能,它是你所创建的、与你相关的信息的专家,并且你可以通过不同的形式进行互动,无论是聊天还是听取评论,嗯,你基本上可以培养你自己的个人人工智能,拥有大量的信息。也许是你所有的日记,也许是你公司的历史,无论是什么。
通过拖放文件进去,它就会发展出对你或你的组织发生过的一切的认知,并能够提供建议,帮助你做决策,或者只是回忆起你想要记住的事实,并创建这些新文档。这是一个很大的可能性,可能在五年内会有十亿人以某种变体在做这些事情?我认为这是相当合理的,因为在那种背景下你可以做很多不同的事情。
嗯,你知道我可以像一位作家在写书,但它也可以是一个高管在做复杂的决策,或者只是有人试图记住他们生活中发生的事情。这就像保持一个日记,只是你有一个人工智能在帮助你做到这一点。所以我认为这是一个很大的市场。
好吧?你甚至不考虑,就像你所说的那样,有一个叫做“我的思维”的应用。
你有吗?这是一个很棒的应用。
你应该玩玩这个。我觉得你会喜欢其中的一些,嗯,我已经开始使用那个应用,并且我养成了一个习惯,每当我遇到我喜欢的东西时,我就把它放在那里。你知道的,如果我喜欢播客、视频、我读过的东西、我拍的照片或我看到的好东西,我就把它全都放在那里,没有任何组织,什么都没有,而且那个应用本身没有什么特别的。
它只是在视觉上很不错。所以使用它,嗯,已经只是那个事情,你打开它,它有很多模式,或者你可以输入电影,它还会显示你保存的所有电影和电影相关的东西。关于这里有一堆我觉得很有用的东西,足够多,伙计,你会在其中工作,我认为在这方面有一些东西需要解决,就是如何以一种既简单又无摩擦的方式从人们那里收集数据,但又不会像增长和隐私入侵那样,这就像永恒的谷歌问题。我对有人能够解决这个问题抱有很高的期望。
最终,这是我一直以来的偏见,可能是一个缺陷,你知道的,我们真的没有日子。我们甚至没有你来源或笔记的基础东西,像那样,基本的低级别东西,我们无疑会添加,但是我们一直关注这些更复杂的功能。我内心的一部分就是像这样,组织的复杂系统的美丽,你在标记东西并把它们放入正确的文件夹中,而现在这些并不是那么必要,因为人工智能会做到这一点,并为你建立连接,并找到你想要的信息,或者只是有一个地方,让你轻松抓取来自许多不同地方的东西,然后把它放到一个笔记本里。然后就让魔法发生,找出连接,找到你想要的信息。
再一次,如果你之前说得对,就像在维基百科之前最接近的东西,以前我可能会从这个维基百科页面开始,关于大象,然后我跟随这些有趣的部分,但对话就是一个更好的方式来做到这一点,嗯,如果它是值得信赖的,所以我非常喜欢的模式是,再次,这只有在有对话历史和长上下文的情况下才能实现,去进行那些探索性的对话,围绕一个想法,然后在最后你会说,好吧,这真是太好了。你能把它格式化为一个单独的文档,只是说一些关键的要点和洞察吗?所以我可以把它捕捉下来,以备后用,因为我不想再读整个对话,但我想得到好的部分,所以它不会消失,你保存下来,这就是你刚刚做的事情的记录,我的意思是,这是一种美丽的方式,穿越信息空间,充满惊喜和意外的转折与发现,所以这感觉像是一个值得保留的东西。
在这方面,下一步是什么?就像在我看来,我们在这种思维方式中非常需要的一个东西,我喜欢,像我喜欢的就是,像我想在这里呆三个小时学习某样东西,然后最后给我一个方便的总结。如果一切都很神奇,那就是一次旅行。
这让我想到一件事。我们迫切需要所有这些工具来改进,来实现这一点,进行多媒体的整合,对吧?我想知道在结束时,像听这三个播客和这个YouTube,你会喜欢的,去看看,还有这个个人Instagram,这个互联网是个多么混乱的地方,以最好的方式,现在它感觉就像是那样。
而且我知道很多人正在为此努力。呃,还有其他你在关注的事情吗?你知道你也在做这些东西吗?接下来有什么转变会出现?
所有这些事情现在会变得更好吗?没有书籍能够帮助你发现信息以放入你的新书,确实是零,但没有什么在你身边。你需要生活资源,嗯,我们不会帮助你发现任何东西,嗯,在互联网上以任何形式,这似乎只是一个巧合,谷歌在这些事情上确实很出色,我不知道,我在得到这个的时候学到了。
他们有搜索的东西,这是很多人使用的。所以显然,这是一个地方,你知道,我希望能够找到源头,但我希望你能留在书中,以便能够找到东西。你知道,我们会对探索这个感兴趣,我想你会在2025年看到这一点。