现在的软件标准,即使对于初创公司来说,也高得多。你不能拥有糟糕的软件,即使你解决了一些独特的新颖痛点。客户的期望值很高,这将推动行业向前发展。欢迎来到 Manifold。今天的嘉宾是 Omar Shams。他是一位人工智能创始人,最近将他的公司卖给了谷歌。他现在在谷歌担任人工智能软件代理的负责人。
我非常期待与他交谈,因为他不仅是人工智能领域的一位领先思想家和研究员,而且他还有理论物理学的背景。Omar,欢迎来到播客。感谢你的邀请,Steve。我们正在纽约市哈德逊广场的 Equinox 酒店进行广播。Omar 在旧金山和纽约之间分配时间,我在这里做关于人工智能的演讲。所以我们很幸运能够聚在一起。谢谢。谢谢。Omar,让我们从你的背景开始吧。你去了卡内基梅隆大学,学习数学和物理,然后你去了罗格斯大学研究生院学习弦理论。
所以,谈谈你二十出头的时候,以及你开始将人工智能与物理学区分开来思考的时候,这个世界对你来说是什么样的。是的,好问题。我认为和你一样,我的初恋绝对是物理学。我对此很着迷。我记得……
在高中时读到关于孪生悖论的文章,实际上是在我15岁的时候。我记得在我的物理书的后面看到这个小漫画。它让一个双胞胎出去然后回来,然后
他的双胞胎年纪大了很多。我记得当时想,这是编造的,对吧?就像是个玩笑什么的。然后我去找我的老师,我说,“嘿,你知道吗?这太大了。这不是真的。”他说,“不,是真的。”我说,“什么?”这就像发现魔法真的存在一样。那是我,那是我诚实的客观感受。我想,好吧,我必须学习魔法。所以我,我做了十年,呃,
我当时的专业是汤姆·班克斯的学生,我最终以论文未完成的状态退学了,但那是全息术。汤姆,我认为汤姆仍在研究这个,是用非交换几何来重建时空之类的东西。你能从一个时空实际上成为这个涌现事物的非交换几何中出来吗?我所做的具体工作是
做一些关于——我现在几乎不记得了——共形杀伤旋量的东西。旋量有点像向量的平方根,对吧?并用它来构造 Suzy 代数。Suzy 代表超对称,对于我们的听众来说。是的,对不起,对不起。Suzy 代表超对称,这是一种额外的对称性,这些旋量(再次,有点像向量的平方根)提供了。
然后快到我退学的时候,我开始真正关注生物物理学。人们,我需要小心,因为人们在说生物物理学时有很多意思。所以是脂质物理学以及它的结构。我实际上更多的是在基因组方面。所以我做了一点基因组学。这有点……
现在已经不足为奇了。但在当时,你知道,我做的第一件事之一就是,好吧,让我对这个人类线粒体 DNA 进行 PCA 分析。我认为这绝对是一个很大的部分。就像看到,你知道,机器,你知道,机器学习技术在这些日子里的力量。作为一名本科生,我还与我相信是科林·科林·莫宁斯塔尔一起做了一些晶格 QCD。是的,我认识科林。哦,你认识科林。所以我花了——还有汤姆。是的。
你认识所有人。所以我夏天做了这个。我作为本科生和科林一起度过了一个美好的夏天。那可能是我对这个领域的介绍。但实际上,我主要接触这个领域是在我的第一份工作中,我为一家名为 Hi-Fi 的小公司构建了一个音乐推荐引擎,该公司后来被 Block 收购。好吧,让我们……在我们……
让你离开物理学之前。让我们稍微关注一下物理学。我对你刚才关于高中狭义相对论的故事印象深刻,因为我也有同样的想法,你知道,当你还是个孩子的时候,如果你的大脑连接方式正确,即使只知道一点代数,你也可以重新推导出洛伦兹变换,狭义相对论。它不需要超过简单的代数,代数二级的知识。我实际上有一篇旧博客文章,我在其中说了一些类似的话,一个孩子怎么可能在美国受过良好的教育,却至少没有简要地接触过狭义相对论的思想?因为它是一件如此迷人的事情,就像阿尔伯特·爱因斯坦。然后,就像,当你意识到一些非常简单的——
呃,经验输入,比如哇,无论观察者以多快的速度移动,光速对任何人来说看起来都一样,这个简单的观察,然后通过一点逻辑和一些方程式,例如你刚才提到的孪生悖论,所以我总是很惊讶,当我遇到另一个聪明、受过高等教育的人时,为什么你
对物理学不感兴趣。你难道没有看到你在 11 年级或 12 年级被迫阅读的教科书的那一部分,他们向你解释了这一切吗?就像,那难道没有在你心中点燃一盏火光吗?所以你就像我想到的那种大脑的例证。我不理解所有其他大脑。那么,你是你高中里唯一一个关心这件事的孩子吗?是的。是的,我认为是的。是的,对我来说,
仅仅是做这些数学难题的乐趣,是一种,你知道,一种享受或智力满足的层次。是的。
但物理学中有一些东西点燃了这团火,对我来说,它是非常直观的。当我做物理题时,我的脑海中播放着这部电影。那很有趣。那几乎就像一部动作片在播放,或者某种惊悚片。我不想夸大其词,但真的,当我,当我做这些事情的时候,我会得到视觉效果。
我还记得在高中时,同时我会捕捉到片段,你知道,在 PBS 或其他什么地方,比如,你知道,呃,你知道,一辆火车带着光移动,你知道,有人试图在一个包里闪光,以及光与,你知道,呃,
你知道,物质等等的特性。我只是记得它对我来说非常引人入胜。再次,就像发现魔法是真的。是的。这物理学家和数学家之间的一个很大的区别,因为我认为大多数物理学家或物理学家谈论的是一种叫做物理直觉的东西。我认为这很大一部分是你的大脑,我认为出于进化原因,
是用来实际模拟,也许是视觉地模拟现实世界的。如果你能利用这一点,你就能做非常强大的事情。所以我认识的一些数学家只是嘲笑爱因斯坦的狭义相对论,因为它太简单了。方程式太简单了,就像,这怎么能是一件大事?但它的深度不是那些方程式。深度是哲学思考或物理思考,等等,如果迈克尔逊和莫雷做了这个实验,他们发现无论他们在什么框架中,他们总是测量到光速的相同值。这突然有了令人难以置信的影响,你可以用非常简单的数学得到。我认为我确信爱因斯坦也是从思想实验,他总是谈论的 Gedanken 实验,也非常直观。
所以在我们对话的后面,我们将讨论物理学家拥有的那种强大的思维方式,即整合那种直觉,比如,哦,一个球在梯度下降过程中滚下表面是什么?我们对球滚下表面的方式了解多少?
这实际上如何成为现代人工智能研究中有用的东西?我认为这是我想从你那里得到的东西。所以让我们回到你决定进入科技行业。我认为你刚才提到了你工作的第一个初创公司。但我认为你曾在连续的顶级 AI 实验室工作过,对吧?你在 DeepMind 工作过。你在伦敦吗?我实际上在伦敦。我坐在 Debra Sennman 旁边几英尺的地方。她……
这是哪一年?这是 2018 年,2019 年。哇。我想知道你是否去听了我的演讲,因为我在伦敦做了一个关于基因组学和人工智能的演讲。我错过了。我真的很兴奋,我不知道,出于某种原因,我错过了。我必须讲一个关于这个的有趣故事,因为我去做演讲,我来到这座建筑,你知道伦敦的这座建筑,它靠近国王十字车站吗?它靠近国王十字车站。是的。所以我去了……
很棒的建筑。虽然我想他们后来搬到了一个更酷的建筑。但我来到这座建筑,他们为我安排了整个行程。我正在与所有这些人会面。它看起来像是一场求职面试。它看起来像是如果你正在面试教职工作的那种会议。
但它也可能只是像那些对与我谈论研究感兴趣的人。对。所以我不是很确定。但随后第一次会议是与一位名叫 Pushmeet 的人进行的,他现在是 Pushmeet。是的。他现在是负责整个 AI 工作的副总裁。对。和人工智能研究。我在每次会议中遇到的每个人都一直问我,你是否要加入我们的蛋白质折叠项目?
我说,“为什么你会这么想?”我来这里是为了说服你们,你们都应该从事基因组学研究,而不是蛋白质研究。所以我们发生了一点小小的冲突,不是冲突,而是友好的。就像,我说,“不,这更有趣。”他们说,“不,这是……”他们一直说,“好吧,我们以为你是……”我们都以为你是一个求职者,因为你是一位物理学家。
你已经研究 DNA 了。所以我们以为你要加入蛋白质折叠项目。所以,这是一个有趣的故事。就像,现在当我回顾过去时,我想,也许我应该加入蛋白质折叠项目,并参与诺贝尔奖之类的。所以,但可惜我们错过了彼此。是的。是的。那么,你对 DeepMind 有什么看法?因为,你知道,正如你所知,OpenAI 的成立是因为,呃,当 Demis 参与将其出售给谷歌时,嗯,
也许这个故事并不广为人知,但埃隆和一位名叫卢克·诺塞克的人,他是另一位 PayPal 黑帮成员。他是位于奥斯汀的 Giga Fund 的创始人。你认识他。我认识他。他们试图购买,你知道这个故事,他们试图购买 DeepMind,因为他们不希望谷歌拥有它。所以他们在参加一个派对,卢克和埃隆实际上躲在一个壁橱里以避开噪音,他们打电话给 Demis,他们说,“谷歌出价 6 亿美元,我们会匹配。”
对。然后 Demis,我认为,根据这个故事,对他们说了一些类似的话,“好吧,你们也许可以筹集到这笔钱,但你们无法匹配我将获得的计算基础设施。”所以他最终去了。
谷歌,DeepMind 成为谷歌的子公司,但随后这些人感到恐慌,因为他们认为 DeepMind 将会领先,并在其他人之前解决 AGI 问题。这就是为什么埃隆在一开始就支持 OpenAI 的成立,以建立一个开放的,我把它放在引号中,因为我们都知道 OpenAI 现在是什么样子,但最初是为了建立一个开放的实验室来进行 AI 研究,这样谷歌就不能仅仅夺取奖品。是的。
你在工作时听说过这个故事吗?我从未听说过这个故事。这非常有趣。我应该说……
仅仅因为我现在是 Alphabet 家族的一员,我会故意避免它。是的,是的。不要说任何会让你陷入困境的话。是的,是的。但这是一个有趣的故事。我认为这场人工智能竞赛有很多原因很有趣。我的意思是,有很多原因,哲学原因。它迫使我们提出我们曾经……
你知道,推迟了很长时间的问题,甚至存在主义问题,我认为。是的。但它也很有趣,因为我认为实际上有两个瓶颈。通常只有一个瓶颈,但我认为有两个瓶颈在争夺它们有多大的瓶颈。其中一个,当然,你提到了芯片,但另一个越来越实际上只是能源,就像原始能量一样,你拥有多大的财产,对吧?是的。
是的,是的。好吧,当我谈到美国与中国的人工智能竞赛时,出现的问题之一是,这两个问题都会出现。一个是英伟达与华为的 AI 芯片之争。但另一个问题是,你将如何为这些数据中心供电?你知道,在美国增加电网电力供应非常困难,而中国电力生产的导数正在飞速发展。他们实际上增加了电力。
我认为正确的陈述是,他们每年增加相当于英国或法国发电量的电力。每年。而美国每七年。是的,完全正确。是的,他们现在是 2 倍。所以问题是,你将如何与之匹敌?如果电力最终成为转化为智能的基本组成部分,你将如何与之匹敌?
是的,是的。我的意思是,我不想走得太远,但我写了一篇题为《月球应该是一台计算机》的文章,我坦率地承认这是推测性的。我必须做出很多假设。不太推测的是,你知道,如果你大大增加了地球上的能源消耗,
我的意思是,很多,很多。我不是说一点点,而是很多,两个数量级,你确实开始产生影响大气层的热效应。我把它当作借口。但说实话,这样做的真正原因是,你根本无法在美国电网负荷电力供应上获得足够的电力,因为谁知道为什么是法规,或者你根本无法建造足够的电力,或者存在某种冲突。
没有能力做到这一点,但我有点推测,嘿,我们可以在太空中做这件事,或者实际上是在月球上?我认为这个想法是通过与我在旧金山的一位朋友聊天产生的。
他是艺术人类学。但我认为,好吧,这是一个疯狂的想法。我知道人们会说这是一个疯狂的想法,但实际上一些真正的人,不是社区名称,而是一些真正重要的人读了它,并认为这是一个好主意。我后来发现,埃里克·施密特,竟然通过一些特殊的融资,现在是 Relativity Space 的首席执行官,这是一家 YC 公司。我的公司是一家 YC 公司,所以他现在是首席执行官。
他的一个前进的目标或原因是,他想把计算能力放在太空中。我不知道他是否想把它放在月球上,但他想把它放在太空中。我认为原因之一,再次是监管问题。你实际上根本无法在美国获得能源。对不起,不是在地球上,而是在美国。在他的太空项目中。
能量实际上会来自太阳能电池板,还是有一个在轨道运行的太空反应堆?我相信,我不知道我是否尝试过找出答案。如果有人知道,请与我联系,因为我对此非常感兴趣。是的。但我相信是太阳能。
我认为你不能使用核电站,因为它违反了太多条约。如果火箭爆炸,它在技术上将是一枚脏弹,你不会想要那样。所以我认为它必须是太阳能。但是你不需要在太空中使用一平方公里的太阳能电池板吗?这真是太疯狂了。就像我想……
我尝试过计算这个,我可能是错的,但我相信要获得千兆瓦,你需要……是一平方公里,还是更像 10 平方公里?我必须检查一下计算结果,但我的直觉是,把所有这些东西送入轨道需要大量的提升。是的。而且要把它,你不能把它放在近地轨道上,因为如果它是 10,假设它是 10 平方公里。是的。它实际上,我曾经做过横截面。是的。天文学家会对你有点生气。是的。不,不。每个人都会对你生气。这就是我的意思。是的,是的。所以你必须把它放在像,你知道,拉格朗日点。是的。谢天谢地,太空中有很多空间。是的,是的。
好吧。让我们,让我们回到,呃,你的经验。作为一名初创公司创始人,所以你的公司叫做 mutable,你作为创始人兼首席执行官经营了三年。我相信它基本上是在 AI 代码工具领域。这是正确的类别吗?没错。是的。所以,嗯,我于 2021 年 11 月创立了这家公司。嗯,
我辞去了工作,两周后,我作为独立创始人加入了 Y Combinator。那是一次非常残酷的经历。残酷,但令人惊叹。我应该说,这是我一生中最好的经历之一。我基本上除了工作什么也没做。我没有睡觉。
因为我什么也没有,我什么也没有。我没有代码,什么也没有。我只是整天编程,去了 YC。你知道,他们基本上有这个课程。然后向投资者推销。我设法构建了一些东西,这并不重要,但它可以用 AI 来清理你的 Jupyter 笔记本代码。
我得到了一位客户,我进行了一轮种子轮融资。对。所以这主要是我生命中的 10 个或 3 个月。对。但是的,我是最早的 AI 开发者工具公司之一。我们与 Copilot 差不多同时出现。对。而且……
是的,这个领域现在很疯狂。像 Cursor 一样,Cursor 是一种 AI 开发工具,正在赚取超过 1 亿美元的 AR。现在很多这些公司很快就赚取了超过 1 亿美元的 AR。是的。
现在,你太谦虚了,无法声称自己有功劳,但我了解 Mutable 开创了一些现在很常见的事情。我认为 Karpathy 最近做了一个在 YouTube 上的主题演讲,他在演讲中谈到了一些想法。我认为他没有提到你,但我认为你有这些想法,例如
你知道,以某种方式使用上下文进行软件开发,或者实际上从公司的代码库中创建更好的文档,类似维基百科的文档。是的,我认为你们在 Mutable 做了很多有趣的事情。也许你想谈谈这个。是的,是的。是的,我不太谦虚,可以,你知道,坚持认为我们绝对发明了很多现在可能最流行的表现形式背后的想法,称为 DeepWiki。
来自 Devon,又名 Cognition Labs。但基本上,我有一个想法,当时我在奥斯汀,查看所有这些开源代码库。因为我是一个非常好奇的人。我一直都是这样。我总是遇到我感兴趣的论文和代码。
而且,你知道,你可以走得很远,你可以培养技能和肌肉记忆来快速上手新的代码库。但这总是,你知道,有点费力,对吧?所以我想,为什么 AI 不帮你做这件事呢?比如,为什么 AI 不,比如说,写一篇类似维基百科的文章来解释这段代码呢?哦,这有什么好名字?哦,Autowikipedia。
这就是我们所做的。我们为此做了一个大的递归总结,来解释你的代码。但幕后故事实际上比这更有趣。我认为这对于创始人或有抱负的创始人来说可能很有用。所以 YC 总是喜欢说,挠挠你自己的痒处。那可能不是一句直接的引语,但类似的话。所以至少你知道你有一个用户,那就是你。所以我自己构建了 Autowiki 的初始版本。当时,我的团队正在做其他事情。这并不重要,但我们有另一个有活跃试点项目的项目。我查看了第一个版本,并向我的团队展示了它。他们说,你知道,这无所谓。我记得看着它。我想,好吧,这不太好。所以我把它搁置了一个月或两个月。然后我又遇到了同样的问题。好吧,很酷的代码库。
冷却的负载库。我真的很想快速上手这个负载库。所以我想,你知道吗?让我把我的 AutoWiki 代码拿出来。我甚至不知道我当时是否称它为 AutoWiki。我做了一些改进,我花了一整天的时间。我只是太好奇了。我必须这样做。而且
而且瞧,最后,我看了看最终的维基,我想,你知道吗?这实际上很有用。它帮助我理解了这段代码。所以它对我来说有用。它可能对其他人也有用。所以我把它展示给团队。我不会说反响非常强烈,但它更加积极。然后,你知道,在某个时候,你知道,后来,你知道,我继续自己一点一点地改进它。后来在某个时候,我们决定,你知道吗,让我们致力于这个。让我们真正致力于这个。
我们在 2024 年 1 月发布了它,登上了 Hacker News 的首页。有来自大学的人联系我们,来自我的快速。我们变得非常流行。是的,那是我们决定将公司的全部精力投入 100% 的时候。我们实际上解雇了我们的客户。我们对此非常友好。他们很宽容。我们达成了一些协议,但我们将全部精力投入到其中。事实证明,
这就是关于产品开发和起伏的幕后故事。我希望我们有趣的是,对于创始人或对不起,创始人来说,这是一个有趣的介绍,但我认为最有趣的是 Carpathi 在他的演讲中提到的技术部分。
到创业学校,我相信,那就是这变成了一个非常有用的上下文过滤器,因为大型语言模型是……我从像大型语言模型一样思考中获得了如此多的经验。实际上,你应该拟人化大型语言模型,因为在某种程度上,它们是在图像之后训练的。它们是在人类数据和人类经验上训练的。所以事实证明,拥有这些代码的简短说明,本质上,可以帮助大型语言模型
一、用于检索。所以人们谈论 RAG,检索增强生成,但也用于生成部分,因为拥有这些摘要
在某种程度上,我们以某种方式预测或预测了推理模型,它们首先进行链式思维,然后推理,然后回答你的问题。所以首先让它写一篇读书报告,然后回答你的问题非常引人注目。我们从基于代码的聊天中获得了更好的结果。所以我们构建了一个基于代码的 TRNA 系统,它不需要你输入,哦,这些是我想要作为上下文的文。你可以只输入
整个代码库,事实上,我们将其扩展到 Linux 代码库,它可以回答关于整个 Linux 代码库的问题。让我问你几个关于这方面的问题。所以在构建 AutoWiki 的部分,在您将其有效地用于进一步生成代码之前,是否必须有人员进行任何问题的更正?我们有一个不太有用的功能,人们可以修改它,但你不需要。看,有幻觉。是的。
我认为其中一些已经被解决了。你知道,有一些技术可以解决这个问题。但事实证明,即使有这种幻觉,拥有它也比没有它更好。它比热量更轻。对。所以即使作为一个完全自动化的过程,你基本上让模型查看代码库,思考它,生成一个持久性文档。然后,所以在某种程度上,它有点像推理。对。所以它正在生成这些东西。但当它为你做其他事情时,它能够咨询。
它之前所做的推理。对。所以,是的。所以我认为这很棒。实际上还有一个更深层次的,我很高兴你是一位物理学家,因为实际上还有一个更深层次的物理类比,这是一个不完美的类比,但它一直在我脑海中。重整化。是的。
所以对于那些不知道重整化群的听众来说,这是肯·威尔逊发明的一项技术,用来解释物理系统中的临界现象,你知道,这个,你知道,凝聚态系统,你知道,和……你比我更了解物理学。我已经……我已经远离我的物理训练了,但我从我的物理训练中记得佩斯金和施罗德,你知道,量子场论,你会有这些临界……你知道,你会有这些系统,你知道,它……
它可能是量子场论?它可能是动力学、物质、系统学。
你拥有微观物理学,但你想得到宏观物理学。你想预测相变。所以你进行连续粗化,在自动维基的场景中,也就是连续总结。是的。然后你得到临界现象,也就是,嘿,这可能是关于X的,或者这可能是关于Y的,或者这是问题的答案等等。所以这总是作为我的灵感来源,在我的脑海深处,
我知道这是你想讨论的主题之一。不,绝对是。我认为,你知道,你可以依赖模型从实际代码库开始,然后用可能更人性化的术语来描述它,并将其存储在某个地方。这是有用的,对吧?这是一个有趣的想法。它就像重整化群,对同一事物的不同层次的描述。我认为其他仅仅从事神经网络一般性研究的人
也经常做过这种类比,例如,第一层可能检测特征,然后下一层组合这些特征。神经网络实际处理信息的方式也具有重整化群的味道。但我是在奥斯汀认识你的,我认为你做了这个,我不一定想称之为转向,但我认为当我第一次见到你时,你还没有致力于维基这件事。
然后,就像,我认为后来我们成为朋友后,你告诉我,嘿,我做了这个转向。太酷了。告诉我们,你知道,对于现在的AI创始人来说是什么样的?氛围如何?你当时在奥斯汀,但后来你搬到了旧金山。对吗?是的。那么氛围如何?就像你现在已经离开了,因为你在……
谷歌。但当你是创始人时,在旧金山拼搏的创始人,我不知道你是否住在海湾谷。氛围如何?感觉如何?
是的,旧金山的氛围,我认为有一种巨大的能量。据我所知,有些人意见不同。有些人说,哦,它仍然没有从新冠疫情中完全恢复过来。但我认为至少在人工智能领域,这种巨大的能量是存在的。我认为旧金山就像西方世界的古雅典。它很小。有70万人。我认为古雅典大约是25万。是的。
但是,是的,我认为最聪明的人在那里,更重要的是,最具创造力的人。能动的人。能动的人。代理人或人类代理人都在那里。
游戏角色都在那里。是的,没错。你知道,我喜欢纽约。我喜欢奥斯汀。我喜欢旧金山。这是我最喜欢的美国三个城市。但我必须说,我在奥斯汀或纽约很少学习新东西。但我觉得我在旧金山总是学习新东西。到了有点让人不知所措的地步?是的。
我不知道。我的意思是,我有点上瘾,但是,是的,它可能是。我最近在那里,有五个活动,字面上的。有一个AI工程师大会,这是一个令人惊叹的行业大会,可能是最好的大会,有像格雷格·布罗克曼这样的人等等,但也有一些真正优秀的人在做这项工作。正在做这项工作的人。
还有,你知道,YC重聚,有一个关于AGI未来的私人活动等等。哦,你也在那里。我在那里。太好了。我问了其中一个,而且,你知道,我喜欢回答这个问题的人,但就个人而言,但我只是,我不知道我是否同意这个答案,但我问了其中一个发言的人。
“嘿,人工智能的经验发展如何改变了你对AGI或后AGI未来的看法?”他说:“一点也没有。”我就像,“哦,拜托。”-是的,你只是在精神上,好吧,忽略这个人。-是的,是的。-将这个人的权重降低到接近零。
但我问你旧金山氛围的原因是,你知道,对于那些不是专门从事人工智能或不住在那个地区的人来说,人们很难真正理解这个场景是什么样的,对吧?它的强度有多大。在那里,就像,无论你去哪里,都有很多人在谈论人工智能模型或,你知道,后训练,强化学习,推理,你知道,是芯片。你知道,它无所不包。最重要的是,还有一个哲学层面,人们在谈论
AGI,这对社会意味着什么?这对人类的生存意味着什么?这一切都高度集中在那里。我认为当你离开那个地区时,人们并不真正理解。人们会说,你们为什么这么热衷于人工智能?我喜欢ChatGPT。
我知道我用ChatGPT,但他们并不真正理解在海湾地区正在发生的事情的强度。是的,是的。是的,我认为,你知道,几乎有一种乐趣,你知道,这些公共活动是由不同的初创公司和风投公司经常主办的,你知道,出于显而易见的原因,他们在寻找公司进行投资等等。
然后还有一个层次,那就是,你知道,这些活动很好。但还有一个层次,那就是创始人晚宴,我经常从中获得最大的价值,人们在那里举办私人晚宴,有时是风投公司,有时是不同的公司。这是一件友好的事情,但有时也是风投公司招聘或渠道的事情。
这些活动真的很好,因为人们,你知道,分享他们的战争故事,然后是技术技巧等等。然后我认为还有各种各样的,也有一种充满活力的。我没有那么深入参与,但这就像一种几乎像派对一样的场景,实际上,就像旧金山的家庭派对和随机的,你知道,亿万富翁。你会得到一个新的去做,而你你已经确定是亿万富翁了。
在这一点上,但你真的会对此免疫。就像,所以就像你正在建设,每个人都是亿万富翁,你知道,但这太疯狂了,人数,那里的人的水平和想法。我还认为也存在实验室场景。如果你在一个实验室里,你倾向于与实验室里的人交往,但我认为有很多交叉授粉,我不是第一个做出这种观察的人,人们住在一所房子里,字面意思是,你知道,一个人来自一个实验室,
与另一个实验室的另一个人住在一起,你会说,他们是怎么被期望的?我的意思是,你知道,我相信每个人都非常小心他们的,你知道,保密协议。我个人对任何这样的协议都非常认真。但很难不
很难。我只是,是的,我无法想象,你知道,知识不会以某种方式泄露出去,因为人类,即使没有违反保密协议的人,就像,你知道,只是细微的语调等等。而且人们也跳槽,对吧?是的。
我的印象,再说一次,为了我们谈话的目的,我排除了谷歌,因为我对谷歌没有意见,因为他们是我的雇主,这里是我自己的观点。对不起,我要念这个咒语。是的,不用担心。不用担心。就像正统的信条。是的。
抵御邪恶的诞生。但我认为我非常同意这样的观点,所有实验室,再次包括谷歌,我不会分享我对谷歌的意见,基本上他们都在做同样的事情。我认为没有太多新颖的知识产权,或者即使有一些你可以写在餐巾纸上的东西,那有多值钱?如果是一些你可以写在餐巾纸上的东西,它就会泄露出去。我喜欢这个。好的,我喜欢你把这个谈话引向哪里,因为显然,是的,会有大量的扩散。想象一下,你
对你自己工作中的一些特定问题非常好奇或感到困惑,假设你在A实验室,你的室友或你遇到的一些人,或者你在一个派对上和你的室友在一起,但你遇到了你的对应者,他们在B实验室解决同样的问题或在同一个领域
你怎么能抗拒,就像,实际上只是说,你们是否发现了X,你知道,或者你们是否看过Y?这些事情必须发生,对吧?我实际上认为他们真的读懂了权利。我实际上认为,而且我不知道,至少也许我只是在投射我的行为方式。就像,我……
一个圆满的,是的,我真的是,你知道,对吧,你遵守规则,我遵守规则,我对我和实验室谈话的人的印象是,他们也非常小心,因为他们真的读懂了权利,好吧,所以我认为没有任何像公然的事情,或者他们,我没有,我没有说公然,但我的意思是,我的意思是软扩散,软扩散发生了,它可能不像直接从A实验室的一个人到B实验室那样,A告诉他大学时认识的朋友,是的,朋友
告诉其他人,然后传到,你知道,B实验室的某个人那里。但即使是像,“哦,这是一篇很酷的论文”这样无辜的事情。对。对。哦,那,那在规模上行不通。是的。你知道,就像,“你怎么知道?”就像,“你们试过吗?”是的。是的。当你扩大规模时,这行不通。
但与此相关的是,所以我认为你的论点主要是,虽然,没有大的秘密。我不这么认为。那么马克·扎克伯格为什么要为一个人支付1亿美元?他从那个人那里得到了什么,不是秘密?在这个规模上是否会出现能力差异?
是的,我不能代表马克说话,而且我不知道1亿美元的事情有多确凿。一个很大的数字。我认为他们报道他确实这么做了。他确实从OpenAI那里挖走了一小撮非常优秀的人。我认为这是可以证实的。好的,是的,是的。我知道。好吧,我实际上要……无论如何,是的,我确实认为可能有一些,你知道,公司结果可能是分布式的。是的。
我喜欢为我自己的情况开玩笑。如果我作弊,我不会说得太详细,但是,你知道,就像在电影里,我一直喜欢提到这部电影,《锅盖头》,只是因为它是一部非常搞笑的电影,对吧?是的。它就像一等奖是,你知道,一辆新车。二等奖是一套牛排刀。三等奖是你的火。四等奖是你的火。等等,对吧?所以我得到了牛排刀,对吧?但我认为人们也有一些类似的情况。是的。
我认为正态分布实际上并不是结果的一个好的预测指标。我认为人们的能力有一些东西,有点像飞机,也许你有一个好的引擎,但如果你没有机翼,或者你有机翼但你没有引擎,你就无法起飞。人们也有一些类似的情况。所以也许这是对马克的善意解读。
也许大型语言模型中支付高价聘用人才就是这样?你可能感兴趣的是,有一些准学术文章,标题类似于
正态分布如何转化为幂律结果。所以即使个人能力服从幂律分布,其相互作用或系统中的非线性增强也会导致幂律结果。所以我认为你所说的实际上有一些理论基础。
是的,我们看到了这一点。我们确实在创始人身上看到了这一点,就像你可能是一个非常优秀的技术创始人,对吧?但如果你没有良好的沟通能力,它会毁了你,老实说,在我看来,在西方。是的。它会毁了你,因为风投公司通常不是技术人员。不,通常都是氛围。但对于马克和为超级智能组建超级团队来说,都是氛围吗?我,
我,再说一次,我不想发表意见。听着,我认为马克是一位非常强大的创始人。我认为这非常大胆。这是只有创始人兼首席执行官才能做到的事情,就像超级投票权一样。我认为结果还有待观察。我实际上持乐观态度,我会说,但是……我不,我不质疑他的下注。因为你知道,他的引擎会产生如此多的现金。就像,哦,监视器,是的。
你知道,元宇宙就像这不是他用闲钱做的最愚蠢的赌注,不是,你知道,不是他用闲钱做的最愚蠢的赌注。对吧。所以只是押注ASI,只是组建最好的团队。另外,我认为只是他个人对……如果我是扎克伯格,我有他的资源,我会说,好吧,为什么不组建我们能组建的最好的团队呢?我们可以用我们的闲钱现金流。
而且,为什么不把它放在这里呢?你知道,即使,你知道,所以我并不质疑这个战略决策。我质疑的是,如果你要分配1亿美元来获得,引用,“最好的雇员”,那就是策略吗?就像,也许你必须这么做。你可以争辩说,因为只有有限数量的人真正了解他们的工作。是的。但相反的论点是,不,有很多了解他们工作的人。是的。
是的,是的。所以这很好。是的,因为我并没有真正回答你的问题。如果我说真的没有,真的没有秘密,那么为什么还要为这些人支付高价呢?它们并不完全矛盾,但确实存在一些张力。确实存在张力。我很难说,但我要说的是,即使……
即使没有秘密,也有一些,或者在我看来,至少是真正令人信服的秘密,你为此付出代价。我认为你并不是为秘密买单,但你可能是在为这种隐性知识买单,在那里有一些人,在构建这些东西时会出现一些微妙之处,你可能不想等待有人来提升。
也许从他的角度来看,他尝试过。而且,你知道,Llama 4,我不想说他们的坏话,因为……哦,你太小心了。你们字母公司的人太小心了,但是……这不仅仅是因为我太小心了。这是因为我知道建造一些东西有多难。我通常不喜欢批评建设者。就像,我认为建设者……
就像英雄一样。而且,我认为从旁观者的角度批评很容易。但是,是的,我认为即使那个团队也会说Llama 4并不是最好的表现,对吧?所以,所以我认为对于它来说,你知道,这是很严肃的事情。就像,听着,AGI正在发生。至少这是我相信的。它很快就会发生。所以他不能错过这个。对。所以他最好是多付钱而不是错过。你可以这样说,看,即使他多付了钱又怎么样?他付得起。我的解释是
在“没有秘密”的含义层面,这意味着A多少知道B在做什么,或者至少知道B正在做的事情的范围。在这个意义上没有秘密,但有些人有极好的品味。
而且他只是对……好吧,我们应该先尝试这个。或者我们尝试过一段时间了,但没有奏效,但我们应该投入更多资源。这些都是微妙的、细微的决定,对吧?这不是秘密。这就像一个微妙的判断,有人必须做出。也许一个人比另一个人做得更好。有点像交易。就像在金融领域,你会遇到类似的情况。但我认为这是对1亿美元的巨额薪酬包的一种可能的解释。是的,是的。所以……
我的意思是,你会在对冲基金中看到同样的情况,在那里有人会因为过去的表现而获得巨额薪酬包。但谁知道它有多大的预测性。或者人们对首席执行官的薪酬也看到同样的情况,对吧?是的。在更流行的讨论中。对。对。对。
一方面,我觉得有点害怕错过。但另一方面,我觉得极客得到这样的报酬很好。就像,极客不应该比铃木一郎或汤姆·布雷迪赚得多吗?他们应该,对吧?给他们钱。看看人们如何使用他们的钱将会很有趣。是的。好吧,这一切都会反馈回来,因为很多亿万富翁类型的人……
非常愿意资助科学慈善事业。对他们来说,说,“哦,我帮助加州理工学院建造了这个望远镜”比说,“哦,我只是在迈阿密买了几千平方米的房子”要酷得多。他们不太喜欢那些东西。他们更喜欢把一些东西投入到真正很酷的东西中。所以我认为正如我们所说,这些人是有能动性和聪明的,
如果你给他们大量的资源,他们并不真正需要用来生活,我认为他们会以有趣的方式循环利用这些资源。他们可能会资助生物学研究,他们可能会资助一些真正有价值的研究。我希望如此。我有点怀疑。我认为在某些情况下这是正确的,而且我当然有朋友。我和你都有朋友。我认为几乎就像我们……
我讨厌当场对你进行心理分析,但我认为你倾向于吸引那些赚取科技钱的最有趣的群体,他们确实会做这种有能动性和有趣的事情。但我实际上认为这不是常态,不幸的是。我认为人们只是退回到自己的架子上。没有足够的梅第奇家族。所以我希望你不介意,在我参加你的播客时,我会有点发表意见,更多的人……
赚取科技钱的人应该用他们的钱做更多有趣的事情。例如,维苏威项目,它不一定是慈善事业。你可以做一些有趣的事情。是的。做一些有趣的事情。你知道,那个人,我忘了他的名字,他证实了《伊利亚特》的遗址确实存在,就像特洛伊古城确实存在一样,只是在他的脑海里有一个想法。就像,我要去这个,
你知道,土耳其的一部分,我要挖掘这个遗址。我认为特洛伊城就是基于这个证据的,对吧?更多的人应该这样做。好吧,我完全同意你的观点。我的意思是,作为一个教授,我也是拿着乞讨碗的人,试图让富人资助一些学术科学,对吧?所以我百分之百同意你的论点。我确实认为马克支付1亿美元来帮助构建AGI或ASI的那种人,可能是有这些更广泛想法的人。
比如对科学之类的感兴趣。所以平均而言,与仅仅经营纽约宏观对冲基金的人相比,他会用他的钱做什么?他的妻子会收藏很多艺术品之类的东西,对吧?所以……
这几乎就像我们失去了能力,你知道人们谈论,不要听起来太长,但你知道人们谈论抛出所有这些花哨的词,但就像,我会自己做一些花哨的词语,但你知道,贵族式的辅导或品味,你之前谈到了品味,早些时候提到了品味,我们只是没有,我们只是没有培养这种感觉,你知道,冒险和
我不知道是什么,冒险或文化或能动性和人。它可以,你可以在一个领域非常成功。然后一旦你收集了你的收入,你就根本不使用它来做任何事情。非常典型。是的。无论如何,关于这个就足够了,但是,是的。好吧,我同意你的观点。好的。所以让我们回到我们说要讨论的一个主题,因为这现在是你角色的一部分,那就是代理。所以如果有人来找你,说,嘿,
我在社交媒体上。我每天都会看到一些关于某个人的代理的片段,它可以为我做所有事情,但我认识的人现在实际上并没有从代理中获得多少价值。那么,代理的用途之间炒作和现实的分界线在哪里?是的,好问题。我认为,听着,这个领域发展非常迅速,我认为这些发展需要时间才能传播。我不知道我是不是一个完整的……
泰勒·考恩问,你知道,他有一个完整的论点,我想简要解释一下,关于这与电气化类似。AGI需要100年的时间才能渗透到经济中。我认为这太慢了。我不完全相信这一点。我知道他从哪里来。存在监管障碍。有些人需要时间来改变他们的想法和习惯等等。哪个物理学家说过,你知道,物理学一次只进步一个葬礼?也许是海森堡。
是吗?你确定吗?好吧,是的,因为是那个群体中的某个人。因为历史学家从未说过的是,所有量子革命前的老人都不相信量子力学。现在我们甚至都没有考虑过这个问题。但即使是这种转变也是一次艰难的转变。是的,我认为人工智能也发生了类似的事情。你有时会在一些老派软件工程师身上看到这一点,他们仍然不相信人工智能。他们就像,真的吗?是的。
真的吗?无论如何,所以我认为有一些类似的事情。可能会有类似的事情发生在不同的行业,但我想要直接回答你的问题。我认为毫无疑问,今天存在软件代理,我正在研究,
再说一次,对不起,我在做字母游戏。当我对我的实际工作发表评论时,我想非常小心,但我可以自由地谈论Peel。我认为这显然是一件事。人们正在使用Cursor。人们正在使用Cloud Code等等,所有这些其他工具,对吧?它正在对他们的日常工作产生重大影响,你知道,
软件开发。人们,即使在我领导Needleball的时候,我也看到了这一点,即使对于一家初创公司来说,软件标准现在也高得多。你不能拥有糟糕的软件。即使你解决了一些独特的、新颖的痛点,客户的期望也很高,这将推动该领域向前发展。所以我认为这正在软件领域发生。其他领域……
我同意它还没有完全发生,但我们实际上在法律领域看到了一些。据称,Harvey和其他类似的公司正在赚很多钱。还有其他一些类似的领域。我认为慢慢地但肯定地,或者对不起,实际上甚至不是那么慢,我们将看到,你知道,白领劳动者获得这些软件代理,并且……
我不知道这会对人们的工作产生什么影响,但这肯定会帮助发展。它可以接管发展。好的,尖锐的问题。所以我认为据报道,对于2025届毕业生来说,拥有计算机科学、软件工程培训的人的就业市场很糟糕。提供的职位有所下降,或者说就业率有所提高。
其中有多少是由于人工智能驱动的生产力提高造成的?有多少只是因为科技巨头出于其他一些原因没有招聘那么多人?很难说。我目前会赌更多的是科技公司没有招聘那么多人。我认为有一个非常Zerpy的时代,你会,你知道,向任何人提供工作机会,你知道,有点,你知道,基本上任何半像样的人。我认为这是……
这是不可持续的,并且可能导致至少短期……
铃声打字,因为只是过度招聘。即使你裁员,出于非常人性化的原因和其他原因,士气原因,人们也不愿意进行过于大幅度的裁员。所以他们可能总体上公司过度招聘,而且他们没有招聘那么多人。但我认为还有一些更深层次的原因。当我这么说的时候,我认为这有点逃避现实。我认为有一些事情正在发生
人工智能和计算机科学课程的结合,计算机科学课程有点奇怪。据我所知,他们已经改变了它,但基本上他们正在学习,你知道,街头数学,他们正在学习算法,他们没有学习实际的软件工程。因此,一个刚毕业的计算机科学毕业生实际上可能不会成为一个非常有效的软件工程师。
他或她对你来说可能并没有那么有用。这就是为什么我个人没有雇佣那么多新人。我确实雇佣了,我会告诉你我雇佣的例外情况。也许如果年轻的听众在听,因为我确实有兴趣帮助其他人,其他创始人,也许如果有人想要在该领域找到他们的第一份工作,我会在这里尝试提供一些建议。我确实雇佣了一个19岁的年轻人。
这个人实际上没上大学。他刚从普林斯顿高中毕业。他做了一堆机器人项目,一堆Rust项目。我可以看出,当你和某人交谈时,他们的能力水平,你会想,好吧,哇,这个人的能力水平非常高。所以我雇佣的那个人有一些让我觉得很棒的东西。我不确定。当然,我面试了他们。他们……
是的。
在这一点上。它更能体现自主性,你知道,我认为自主性将变得越来越重要。对。所以这是对年轻人的建议。但只是为了让你回答我的问题,我认为你我认为你找到了安全的地方,那就是
2025年软件工程师职位减少有多种解释,多种因素共同导致。部分原因是后零时代,公司过度招聘,他们意识到自己臃肿不堪,在高利率环境下正在缩减规模。
但部分原因也是认识到人工智能工具提高了生产力。是吗?是的,我认为如此。我认为,我认为这绝对是其中一部分。如果让我猜测,这至少是两位数的影响,因为现在,你知道,我可以完成初级工程师的大部分工作,而这项工作正在转向成为像TLM或TL这样管理这些代理团队的角色。团队领导。是的,团队领导或技术主管有时。所以,你需要初级工程师吗?是的。
不再……也许不需要了,而且他们的初级工程师在短期内可能总是负资产,是的,这总是你做的事情,哦,我正在发展我的渠道,我正在招聘这个人,不是因为他们真的会帮我很多,实际上他们可能一开始甚至在头一两年都会成为负资产,但我需要你必须发展我的渠道,我需要跟上,所以也许有一种感觉,就像
你只需要少得多的员工就能应付。我想指出两个人。一个是比较同意你所说的话,达里奥·阿马达伊,他说,嘿,由于人工智能,实际上两年内就会出现大规模的失业。实际上,我和在Infopic工作的朋友打了个赌。我们把它都记在了日历上。
差不多两年后,他预测科技公司(包括……
已经精简的公司,比如特斯拉,比如说。所以我们会看到的。我的意思是,我押了另一边。我认为30%太高了。但即使比这更不剧烈的是像Shopify首席执行官托比·卢克这样的人,他并没有过多地谈论裁员,但他确实提到他希望他的所有团队都能更多地使用人工智能,并
看看他们可以在不招聘更多员工的情况下用人工智能做多少事情。你听说过Quora这样的公司……
他们正在招聘一个人,只是为了尽可能多地用人工智能自动化他们所做的事情。但有一种感觉是,人工智能只会让你更有生产力,你可以用更少的人来完成工作。然后他们因此不需要招聘那么多人。但这又回到了那个经济规律是什么?人们抛出的耶文斯悖论。所以谁知道呢?谁知道呢?很难预测。我没有一个好的答案。预测这些事情太难了。
好的。现在回到“代理”这个词。我认为你提到了一些案例,很明显人工智能工具提高了生产力。但我希望区分一下人工智能工具,你知道,你向ChatGPT发送查询,或者,你知道,你让ChatGPT修改某些内容或撰写它的初稿。
我不认为那是代理。我认为代理是更自主的东西,它会在没有人工监督的情况下自主地采取多个步骤,而不是一次性或几次性的工具,在这种工具中,人类会仔细查看所有输出的内容。那么,举个例子……
你知道,我,我想在我的代码库中编写一些函数,我只是让代理随意运行,它会做很多非平凡的事情并返回它。你知道,那是,那是现在真实存在的东西吗?哦,绝对是。在我看来,我提到的所有例子都有真正的代理。所以你可以,在所有这些工具的设置中,比如Chris或其他什么,以及,
老实说,任何一个级别都可以设置,这样你就不必确认,是的,比如确认所有操作,是的,你可以让它随意运行,而不仅仅是一个函数,你可以让它构建一个特性,你可以让它构建一个网络应用程序,你可以让它构建,而我
我认为它运行得相当好。我认为可以这样说,人们通常会这样说,随着准确率的提高,可以构建的东西,需要更多步骤来构建,你知道,当你乘以,你知道,99.9,你知道,它只是为了提高这种,这种,这种视野,行动的序列视野,它可以采取。因此,它可以构建更复杂的东西。
顺便说一句,这通常被用来解释为什么人们在……的想法中心、芯片、能源上花费如此之多,因为规模法则……
人们经常把它描绘成,也许只是我的感觉,但就像某种免费午餐一样,哦,我的上帝,这是一件令人惊奇的事情。但实际上它很糟糕,对吧?这是一个对数。规模法则是一个对数。我认为你唯一能证明它的方法是,你知道,这种不断提高的九的论点,但同时,也许这是一个很好的物理联系,是涌现能力的论点。也许,你知道,有一个规模,你知道,回到飞机的比喻,你拥有每一个,你知道,它看起来像一架飞机,对吧?
它听起来像一架飞机,但它听起来不像,你知道,不是一架飞机。它没有起飞,你知道,然后你按数量级上升。哦,哇。它起飞了,你知道,在附近,你知道,所以我认为会有这样的事情。不过很难预测。顺便说一句,我认为规模法则就是这样一种东西,我对此有这种,你知道,你知道,几乎是爱好马一样的东西,就像,你知道,规模法则就像热力学一样,对吧?
我们在发现统计力学之前就发现了热力学和蒸汽机。所以对其他人工智能研究人员和该领域的专家来说,这是一个悬而未决的问题,规模法则的统计力学是什么?因为我见过一些东西,我以前也问过你这个问题。我对答案不太满意。我认为这里面有一些更深层次的东西,但我可能是错的。是的,我们以前讨论过这个问题。我认为就像
对于那些情况比较轻松的人,他们不必交付Claude的下一个版本或其他什么,他们对理论方面更感兴趣一些,我认为你会看到人们提出更基本的模型,然后解释
我们正在看到的特定规模法则。我认为这就是你在寻找的东西。但我还没有看到任何类似的东西。但我确实看到了一些论文,人们正在尝试。所以我认为最终会对这些规模法则有更好的理解。是的,是的。我认为只是为了举一个更具体的例子,嗯,
所以蒂姆,我认为是德特默斯?德特默斯。他是量化专家吗?是的。是的,我邀请他参加了播客。哦,很好。很好。好的。所以就像那样,你知道,只是为了回顾一下他的部分工作,我相信他证明了在70亿个参数和许多语言模型家族之后,出现了这些异常值。这是,这是一个相变,孩子们痴迷于相变,对吧?因为它们发生在整个物理学中。它们发生在粒子物理学中。它们发生在物理学中。它们发生在量子物理学中。
甚至在糖物理学中。所以,你知道,我听说了一个有趣的传闻,你知道,其他小组,当然是谷歌,但其他实验室实际上无法证实他的结果。有趣。有趣。是的,无法复制。是的,有趣。所以谁知道呢?但更多像这样的事情,比如,
提出这些定量指标,理想情况下,不仅仅是基于基准。我的意思是,有点像涌现。对。然后就像,你能预测它们吗?有没有,有没有像统计力学这样的东西?有没有办法预测这些?对。或者至少,你知道,一个好的,一个较低的,相对较低的参数来预测它。你总是会听到我在X上敲响的一个鼓点是关于开源模型,因为对于像你这样可以访问整个
谷歌字母表基础设施的人来说,你知道,如果你对某些事情感兴趣,你可以很容易地编写代码并运行实验。但对于学术界来说,你知道,像QWEN和DeepSeek或Distilled DeepSeek这样的小型开源模型的存在非常重要。当你查看论文时,有人有一些理论想法,他们做了一些理论研究,然后他们使用开源模型进行大量计算来验证,你知道,他们
他们所理论化的行为实际上是经验观察到的。如果他们没有这样做,这实际上是不可能的,因为有时他们必须以某种方式修改模型,或者,你知道,它,他们需要它真正是开源的,实际上。所以我实际上认为,对于这种理论研究来说,学术界能够访问开源模型非常重要。绝对的。是的。我最近看到了很多有趣的工作,尤其是在RL强化学习方面,这些模型,你知道,像什么时候,是的,你可以有人,你知道,
好的,我们快一个小时了。那么,有什么我没有问你的话题,你想发表一下意见吗?
是的,我的意思是,也许有两个。一个是我们简要评论过的。另一个是我经常谈论的另一个话题。所以一个是,物理直觉在人工智能中的作用是什么?哦,太好了。是的,我们是的。对不起。我们说我们要讨论这个。我忘了。不过我们确实触及到了。是的。等等。所以我认为应该说些什么。在我直接论证之前,让我引用一些社会证据。
如果人们不知道
该领域的许多发展实际上是由前物理学家做出的。你知道,史蒂夫和我必须,你知道……我们必须谈谈物理学。是伊利亚还是卡帕西最近在推特上发布了一些类似于“理论物理学家就像干细胞”的东西。重子干细胞。我看到他们变成了所有东西。是的,是的。是谁?是卡帕西。哦,是卡帕西。但这完全是真的。我的意思是,你知道……
我的意思是,从历史上看,这是真的,对吧?好吧,你可以制造炸弹,你可以设计微芯片,你可以解决生物学问题。理论物理学家过去做过所有这些事情,所以他们能够对人工智能做出一些贡献并不奇怪。但我对你的问题是,什么是特殊的……
直觉或能力或优势,理论物理学家特别带给这个领域?以及,盲点是什么?理论家或物理学家在哪些方面比较薄弱,而CS人员可能更擅长呢?是的,我相信我可以同时回答这两个问题。所以,物理学,不像数学,物理学实际上就像,它几乎就像你得到了数学家所做的一切,而数学家可能不喜欢听到这个,但这是真的。
你得到了这种物理直觉,一些数学家也有。我实际上基本上是数学双学位。那是我的课程之外的东西。但我认为实分析,我在本科阶段上过很多实分析课程,在ε-δ证明中有一种感觉像物理直觉的东西。我认为这是数学家最接近的东西。我认为有时几何学家,但在我看来,几何学家并不多。我认为很多数学家都是
有很多代数。道歉并没有真正给你物理直觉。但无论如何,物理直觉,在你脑海中播放的电影,至少在我的脑海中播放着一场电影。当我做物理题或阅读物理教科书时,这让我非常满意。
这种直觉可以直接应用于人工智能研究,因为损失曲线就像一个能量流形,基本上,你有一个球滚下山坡,你试图优化这个流形,对吧?就像,信息论和KL散度之间有很多类比,它看起来又像,你知道,就像,你知道,一个字面上的哈密顿量,对吧?我们有配分函数,你在物理学中拥有所有这些东西,
不仅是类似的,而且基本上完全……好吧,你知道,毕竟,“熵”这个词确实来自物理学,对吧?所以你打开一篇理论人工智能论文,这个词“熵”会在某个时候出现,对吧?所以,是的。是的,我认为有很多机会,发生了一些事情,其中有一个大规模的物理过程,他们,你知道,
对它的移动和展开有物理直觉是有帮助的。我还认为,对这种数学的熟悉程度实际上,但像路径积分,你知道,我提到了一些其他的数学,你知道,坐数学,配分函数,更多的连续数学,处理连续数学,应用数学,你知道,处理近似值,对吧?
我认为这一切都非常有帮助。这就是为什么,你知道,你会有像贾里德·卡普兰这样的人,我读过他的,你知道,他的一些弦理论论文。然后我愚蠢地,我喜欢,我喜欢讲故事。太搞笑了。我读了贾里德·卡普兰在人工智能方面的另一篇论文。然后一年后,我想,等等,是同一个克里斯蒂安。所以有一些,有一些东西要放进去,至于弱点,我亲身体验过,因为我真的是一个物理学家。我不太喜欢,是的,我是一棵树。我只是,我认为一些像,
非常像算法算法的东西,像这些算法有一些微妙之处,像for循环,你把位放在这里和那里,然后哦,实际上你没有考虑到位正在这样移动,并且
你知道,你可以作为一个物理学家学习它,但这不是你的拿手好戏。这绝对是一个弱点。一些更传统的CS东西,你根本没有接受过这方面的训练。我完全同意你的观点。离散算法的东西不一定是我们的强项。但另一方面,我们更擅长处理连续系统。我认为当你得到足够的参数和足够的……
你知道,这些参数的准连续值,它变成了一个连续优化问题,而不是一个离散优化问题。所以它有点更偏向于物理直觉。是的,连续和不连续之间的张力,但连续和离散数学之间的张力非常引人入胜。我认为这是一种张力,是数学和物理学丰富的来源。在物理学中,我们当然会一直遇到它,比如,
我们有波粒二象性,我们后来了解到,哦,一切都是量子驱动的等等。但是你有一些表现形式,其中有一些东西是非常离散的,比如伊辛模型,伊辛系统,但有一些方法可以考虑这些东西,在极限情况下变得非常连续等等。所以我认为这是一个非常非常丰富的张力,但物理学家确实处理离散现象。
现在,不是要让你当场难堪,但作为对扎克的建议,我们应该向一些前理论物理学家投入一些这些价值数百亿美元的资金吗?你怎么看?我认为是的。是的。只能有所帮助,对吧?
是的,是的。我的意思是,有一个原因,你知道,Amphrabic,你知道,那里有很多人,你知道,因为即使像,你知道,我认为是一个共同认识的朋友,约翰·舒尔曼,你知道,我认为他读过本科。他是加州理工学院的本科物理专业。是的。是的。卡西是本科物理专业。有很多很多。是的。是的。物理学的另一件事是。
你学习的数学是针对人类遇到的最有用的、最有趣的问题而设计的。所以它就像,它就像让你偏向于不是对纯数学家最有趣的数学,而是实际上与人们已经控制的现实世界系统最直接相关的数学。对。所以它就是,它就是适合你生活中其他任何事情的正确课程。是的。是的。
太好了。我想这就结束了。再次感谢你参加节目。我相信那里有一些年轻人真的受到了启发或欣赏你在谈话中的见解。人们与你联系的最佳方式是什么?
是的,你可以访问我的网站omarshams.ai,我的所有联系方式都在上面。你可以在X上关注我,我的用户名是omarshams,这个词在左边,或者我的电子邮件也在我的网站上。所以请随时联系我。好的,我们会把其中一些内容放在节目说明中。再次感谢你的参与。是的,我们很好。