We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Machines That Learn, Stories That Inspire: AI Through The Eyes Of A Physicist

Machines That Learn, Stories That Inspire: AI Through The Eyes Of A Physicist

2025/4/27
logo of podcast Finding Genius Podcast

Finding Genius Podcast

AI Deep Dive Transcript
People
C
Chris Culp
Topics
Chris Culp: 我认为人工智能的发展并非一蹴而就,而是经历了多次技术和算法改进后的阶段性发展。目前AI的蓬勃发展,特别是生成式AI的兴起,主要得益于并行计算能力的提升(例如图形处理单元GPU的广泛应用)以及算法的重大改进(例如卷积神经网络CNN和Transformer模型)。然而,未来的发展可能面临训练数据数量和算力瓶颈,算法创新也至关重要。我们需要关注训练数据的质量和代表性,避免模型过度拟合或产生错误的输出。此外,AI的能源消耗和环境影响也是需要考虑的重要因素。总的来说,我认为AI更像是一个由多个‘白痴天才’组成的系统,而非真正的通用人工智能(AGI)。我们需要对人类意识有更深入的理解,才能判断AGI是否可实现。目前,AI更适合作为人类工作者的协作者,而非替代者。在使用AI时,我们应该以解决问题为导向,确保训练数据集的全面性和代表性,并对AI的输出结果进行仔细审核。

Deep Dive

Shownotes Transcript

在这段对话中,我们与莱卡明学院物理学约翰·P·格雷厄姆教学教授克里斯托弗·库尔普取得联系。克里斯托弗热衷于激励下一代科学家,他将复杂的话题生动地展现出来——教授从机器学习和数据分析到所有层次物理教育的数学建模等所有内容。克里斯托弗是一位成功的科学家,也是许多出版物的备受尊敬的作者,包括同行评审期刊上的文章、会议论文和科幻/太空歌剧小说。作为复杂系统方面的专家,他对非线性动力学、时间序列分析、网络和机器学习特别感兴趣。想知道克里斯托弗的工作能告诉我们关于 AI 未来什么吗?请收听以了解详情…… 本集深入探讨:AI 快速发展的驱动力。算法改进如何训练 AI 系统。AI 与人力资源合作的方式。AI 及其他技术流程的环境影响。您可以访问他的个人网站,随时了解克里斯托弗及其引人入胜的研究。并务必在亚马逊上预订他的最新著作《迷失的起源:庄严编年史第一卷》(庄严编年史,1)!本集也在 Apple Podcasts 上提供:http://apple.co/30PvU9</context> <raw_text>0 忘记常见问题解答吧。常识、普通知识或谷歌。不如听听一位真正天才的建议?任何行业的 95% 的人都足够胜任并获得许可。5% 的人则超越了常人。他们会变得非常擅长他们所做的事情,但只有 0.1% 的人……

理查德·雅各布斯已将寻找他们作为其毕生的事业。他搜寻并采访各个领域的奇才。睡眠科学、癌症、干细胞、生酮饮食等等。天才们来了。这是理查德·雅各布斯主持的《寻找天才》播客。

大家好,我是理查德·雅各布斯,主持《寻找天才》播客。今天的嘉宾是克里斯·库尔普。他是莱卡明学院的约翰·P·格雷厄姆物理学教学教授。所以我们将讨论机器学习和所谓的非线性动力学,以及它如何在机器学习中发挥作用。欢迎,克里斯。嗨,谢谢你,理查德。感谢你邀请我参加节目。

是的,我们总是以同样的方式开始。告诉听众关于你的情况。你的背景是什么?你是如何走到今天的?是的,当然。正如你提到的,我是莱卡明学院的约翰·P·格雷厄姆物理学教学教授。我同时也是一位科幻小说作家。所以我有两份工作,如果你愿意这么说的话。就物理学而言,我教授所有级别的物理学课程。从非专业人士的课程到高级物理课程,例如量子力学。我还曾在密歇根大学教授物理学。

所以教授机器学习和数据分析之类的课程。在研究方面,我的研究重点正如你提到的,是非线性动力学、机器学习和复杂系统建模,我们当然可以在采访中详细讨论这些。作为一名科幻小说作家,我创作太空歌剧和反乌托邦科幻小说。

我喜欢尝试探索某种,你知道的,人类身份在高科技社会或太空旅行中的主题,以及那些类型的主题。我还写关于,你知道的,人工智能通常也是我小说的一部分,以某种形式或另一种形式。

我开始询问我采访的所有人关于人工智能的问题,在过去几年中发生了什么变化,使得人工智能突然有了这种复兴或这种爆炸式发展?这仅仅是另一层加权因素,而我们现在获得了这些涌现特性,还是……

为什么现在人工智能如此突出和普遍?发生了什么变化?是的,人工智能在几十年里经历了许多不同的阶段,老实说。因此,神经网络的一些早期算法可以追溯到 40 年代和 50 年代。

因此,该领域历史上经历了这些增长高峰期,然后是这些低谷期。很多时候,它们与技术相对应。现在的显卡具有高度并行性。只要价格上涨不增加,需求也不增加,它们相对便宜。但是我们拥有非常好的显卡,可以在显卡上进行许多这些计算,这些显卡具有高度并行性。

并行性,对不起。这意味着卡可以同时进行许多不同的计算,而不是必须进行计算,等待答案,然后根据该答案进行另一次计算。当然,我们也看到了算法方面的改进。例如,在 2012 年,我们在卷积神经网络方面取得了改进,从而改进了图像识别。因此,你可能还记得 Facebook 以及突然之间你可以开始标记你的朋友的时候。

或者它基本上会说,哦,这是,你知道的,这是你妻子在这张照片里吗?就像,它怎么知道的?好吧,你一直在通过标记你照片中的朋友来帮助训练他们的 AI 算法。所以,是的,所以我们看到了这些像这些适合和激增,对吧,基于技术改进或算法改进。

而且你知道这不会是最后一个,这只是一个系列中的一个,不要让我猜测接下来会发生什么,因为谁知道呢,对吧,这是不可能预测的,但是发生了什么变化呢?

算法变化是,再次强调,计算能力更多了。因此,你可以拥有像一千层神经网络而不是一百层。现在你获得了更好的性能。是的,我认为两者都是。是的,就像我说的,显卡越来越好,但是,是的,“转换器”的概念是一种新的算法或较新的算法。注意力的概念,即算法可以关注技术的特定部分

等等。所以我认为我们现在看到的是某种

我想找一个词,基本上是这种融合,在这种特定情况下,许多不同的硬件和软件发展使人工智能真正起飞。特别是这种生成文本、这些生成的图像、生成的电影。我认为我们现在正处于一个黄金发展时期,原因是硬件和软件方面的原因。

很多事情。你认为它可能是,我的意思是,你认为人工智能会遵循摩尔定律的轨迹吗?还是我们很快就会达到极限,然后我们必须想出其他办法?例如,你认为它在这个增长曲线中的哪个位置?或者它是什么样的?这是一个非常好的问题。所以每个人都想了解这一点,对吧?每个人都有自己的看法,你与之交谈的每个人都可能会给你一些不同的答案。而且,

而且我正在考虑什么?我认为在不久的将来可能出现的限制可能是训练数据。所以,我的意思是,现在我们并不一定知道所有细节,无论如何,公开来说,例如,Chat GPT-4 接受了多少互联网的训练,对吧?但在某个时候,我们将用完互联网。所以用完书籍,对吧?用完我们已经制作的东西。而且

然后问题是,你知道的,像在哪里,什么,然后会发生什么?对。它可能是算法印记。因此,可能会有像,你知道的,当注意力被开发出来时,这是一个,这是一个具有革命性的想法,它允许,嗯,你知道的,大型语言模型真正存在。因此,一旦我们所谓的,我不希望说用完训练数据,因为,你知道的,互联网上一直在产生新的数据。但是,你知道的,一旦我们已经饱和了训练数据,接下来是什么?

对。就如何训练我们的数据而言。是的。所以,是的,很难说,因为我不喜欢成为那些说,是的,我们,我们正在用完,例如,训练数据或用完另一个,你知道的,另一个限制是电力,对吧。是功耗。我们能否足够快地建造发电站,对吧。来运行数据中心,来训练这些模型,这些模型非常耗电。嘿,在美国会发生什么,你会,我们将需要建造许多数据设施。是的。你知道的,我听说过一些故事,例如,某些电力公司,例如,微软进入一个地区,说,嘿,我想在这里建造一个数据中心。电力公司说,不,因为我们无法给你提供电力。对。我们真的做不到。这就是为什么他们收购了三里岛的一部分,或者无论那笔交易是什么,试图像,你知道的,基本上,你知道的

产生可以生成更复杂模型的电力。所以我认为我们在训练规模方面确实有一些限制因素,这可能是可以克服的,例如训练规模电力。但同样,你知道的,电力也可能是可以克服的,因为我们看到了像 DeepSeek 这样的东西,它可以比我们最初预期的更有效地完成事情。所以,哇,这次谈话,每次我听到它,

都让我想起了 20 世纪初,20 世纪初关于物理学的讨论,当时像开尔文勋爵这样的人写道,物理学结束了,人们告诉他们的学生,不要学习物理学,因为只剩下细节了。然后瞧,你知道的,量子力学出现了。整个量子革命,然后我们在 20 世纪中叶出现了混沌理论。所以我总是犹豫要不要做出这些预测,因为我只是……

我太了解历史了。好的。这说得通。你认为人工智能现在正在哪些方面取得进展?大部分听起来像是这些大型语言模型,这些集成的,嗯,这些交互式聊天,我想你可以这么说。现在他们正在谈论实际上执行基本任务的所有这些 AI 代理。但是同样,你认为在接下来的时间里,由于事情发展如此迅速,在接下来的两年里,哪些东西将可供略微懂技术且感兴趣的人使用?是的,这是一个好问题。我认为,

现在让我特别感兴趣的是其中一些链式思维模型,你知道的,粗略地说,人工智能展示了它的工作,对吧?以及它的步骤和推理。现在,最近有一些研究发表出来,最近才发表出来,当人工智能展示它的工作时,它并不总是完全诚实地对待所有工作。

而且它正在展示。但除此之外,我和我的学生一起玩这些链式思维的想法玩得很开心。我可以给你举一个很好的例子。几周前我们在课堂上做的事情。有一个定理

我们正在研究,我正在教我的学生关于它。它被称为斯托克斯定理,但这并不重要。如果你有任何物理学家,他们会点头。其他人会说,哇,那是什么?但关键是方程的两边。左边和右边。斯托克斯定理为您提供了两种计算相同事物的不同方法,并且您必须用这两种方法得到相同的答案。

所以我们有一个 AI。所以我们在黑板上做了一个问题,然后我们有一个 AI。我们使用的是 Gemini,它解决了这个问题。它用一种方法做了,得到了正确的答案。所以然后我们要求它用另一种方法做,它得到了两倍的正确答案。所以然后我们在课堂上提示它,所以为什么?

不应该相同吗?它回答说,哦,你知道的,你完全正确。这些应该相同。我看到了我的错误。让我告诉你。它写出了错误以及它识别出的内容,它将错误的答案识别为正确的答案。在其链式思维处理中,它弄乱了一个因子 2,这实际上是正确的答案。所以它基本上会匹配错误答案和方程的两边。所以它基本上认识到,哦,这不对。

我认为错误的答案是正确的答案。它显然不知道它是错误的。对。所以然后它就,然后它的链式思维过程。那里有一个神奇的因子 2 卡在那里。所以你会得到错误的,错误的答案来匹配错误的答案。我认为这些类型的过程的进步让我感到兴奋,即使这个特定案例是错误的。因为我,

我认为这将帮助我们与人工智能合作。如果我们能够开始可靠地理解它采取的步骤,那么我们实际上可以使用这个工具与科学家一起使用,与人工智能一起工作并理解,你知道的,它是如何得出这个结论的?我认为这可以,

你知道的,进一步研究。所以,我个人认为最令人兴奋的领域之一是这些改进。以及我们之前讨论过的研究,我们谈到了当这些链式思维过程出现在屏幕上时,它们并不总是完全忠实于人工智能实际所做的事情。我实际上对这项研究非常兴奋,因为现在人们正在关注这一点。我们开始提出问题。人工智能是如何工作的?我不知道。为什么我们不知道答案,对吧?

但是现在我们开始关心了,对吧?我们开始关心了。就像,嗯,这些东西是如何得出结论的?他们

在我们继续之前,我个人已经为《寻找天才》播客提供了四年半的资金,这导致了 2700 多次对临床医生、研究人员、科学家、首席执行官和其他致力于推进科学并改善我们的生活和世界的杰出人士的采访。即使这个播客每月有 10 万多次下载量,我们也需要你们的帮助才能覆盖全球数十万甚至更多的人。请访问 findinggeniuspodcast.com 并点击“支持我们”。我们有三个级别的会员资格,每月从

从 10 美元到 49 美元不等,包括查看我们的采访日历并向即将到来的嘉宾提问、您感兴趣的播客的文字记录、请求特定主题或嘉宾等等特权。访问 FindingGeniusPodcast.com 并点击“立即支持我们”。现在回到节目。

哦,这真的很好。那么,是什么原因导致繁荣影响了人工智能的每个部分,还是只影响了某些部分?看起来,你知道的,大型语言模型受到了很大的影响。他们的回答好多了。

但是你认为还有什么因为这个而得到改进?我的经验是,我看到生成方面有了最大的改进。所以大型语言模型、音乐和视频生成,我对这两方面不太熟悉,但我关注一些科技播客,他们正在谈论,哦,这些正在变得更好。他们仍然像,

很棒。对。但你知道的,这就是人工智能的缩影。它并不总是很棒,但它是一个,但它是一个好的,它可以是一个好的合作者。对。我与我的学生讨论如何以某种道德的方式使用人工智能,以及只是,你知道的,为了他们自己的工作,就是允许它与之进行对话,以便你可以摆脱你的思维定势。我可以给你举一个我写作的例子。好的。作为一个科幻小说作家,为了完全清楚起见,我不写

我不写人工智能生成的文本。我没有从人工智能的回复中复制粘贴到我的书中。但是你知道的,当我写作的时候,你知道的,我已经写了一千字的晚上,人会感到疲倦。所以一个人可能会描述,哦,我的一个角色脸红了。我就像,哦,我的天哪,我不能在这本小说中再次说这个角色脸红了。所以我可以转向 Gemini 或 ChatGPT 之类的东西,说,

描述一个人脸红。对。它会给我很多不同的描述。所有这些单独的通常都没有泄露。对。但有时我可以看看这个,我可以说,哦,我可以从中提取一点。或者我可以读其中一个,说,哦,这实际上让我开始考虑这个了,现在这是我想谈论的方式。所以我正在获取输出。对。我使用它是为了基本上让我摆脱思维定势。

我发现它在我的科学研究和写作中都非常有用。好吧,我想如果你看一下答案空间,你可能是局部最小值或局部最大值,就像包裹在一个小的可能答案邻域中一样。我认为人工智能很酷的地方在于,它有可能向你展示答案空间的整个答案

表面。你可以看到你从未知道存在的区域。是的,绝对是这样。在这方面,它可以。但当然,人工智能本身可能会陷入次优局部最小值,如果你愿意这么说的话。所以,你知道的,它陷入了这个区域。如果你想探索更多,你知道的,你必须让 AI,你知道的,某种程度上把它从这种

这种停滞状态中踢出来。所以对于人类和人工智能来说,你都必须担心,你知道的,陷入这种思维定势,如果你愿意这么说的话。但我认为这很令人兴奋。我认为它是一个令人兴奋的合作者。是的。好。我不知道。就像,所以看起来,你知道的,在谷歌,记得它发布的时候,每个人都说,哦,世界上所有的知识都在你的手中,你知道的,标准将提高,人们将做所有这些事情。确实有一些人这样做。

但是还有很多人只是看色情片和 Netflix 等等。你知道的,那里有令人惊叹的技术,但他们没有利用它。人工智能也是如此。我的朋友们每天都使用它,你知道的,用于各种事情。他们中的一些人可能太多了。然后很多人说,是的,我听说过它,但是你知道的,他们只是不在乎。

所以我猜想,当你有像这样的简单的应用程序时,人工智能将开始被很多人使用,例如一个人工智能应用程序,其中有一个代理,下一个方法是,你知道的,安排约会等等。然后也许人们更多地使用它,就像,再次强调,用于这些特定任务。但我没有看到很多人坐在那里与它交谈,查询它,试图更好地理解它,你知道的,那些事情。是的。好吧,你知道的,事情是这样的,我认为人工智能的问题是

我们想要撒下更广阔的网,我们正在谈论。所以你提到的所有那些现在没有查询大型语言模型的人,他们仍然相当彻底地参与了人工智能。

就有限的机器学习而言。当他们在亚马逊上时,推荐器,就像,嘿,你买了这本书,我们推荐这本书,那是人工智能。如果他们在流式传输 Netflix,它会推荐新的节目,如果他们在手机上收到信用卡交易的欺诈警报,那就是机器学习。所有这些都是由机器学习完成的,对吧?哇。

实际上,你所看到的,我们所看到的人工智能,它将无处不在,你甚至不会注意到它在那里,这是好是坏,对吧?是的,这也有道理。你,嗯,我知道每个人都会问你关于 AGI 的问题,以及它的可能性等等,嗯,我想我看到人工智能就像一系列白痴天才,它们串在一起以完成一项任务,但现在他们确实看到了,你知道的,更独立地工作,在一个系统下完成更多的事情,你看到了什么

是的,这是一个很好的问题。同样,这是一个你问一百个人,你会得到一百个不同答案的问题,你会遇到真正相信像 ChatGD4 这样的东西是有知觉的东西的人。顺便说一句,我不属于这个阵营。然后是其他人,他们说,这绝对不是。这只是花哨的曲线拟合。如果有什么不同的话,我可能更倾向于这个阵营。但关键是它确实看起来像

AGI,对吧?就像它一样,它和你说话,这是故意的。它像人一样和你说话。它让你觉得

它在思考,对吧?我认为它没有思考,你知道的,我给你举一个很好的例子。圣达菲的梅拉妮·米切尔,她是圣达菲研究所的外部教授,长期从事人工智能工作。他最近发表了一项研究,他基本上向生成式人工智能模型提出了以下问题。让我看看我是否可以,我可能会把确切的措辞弄错,但这个想法是正确的。

好的。嗯,詹妮弗有两个姐妹。她哥哥迈克尔有多少姐妹?好的。

所以答案是三个,因为你需要包括詹妮弗,对吧?迈克尔有三个姐妹。但是如果你问 Gemini,我们在我的课堂上做了这个。是的,Gemini 很好。它会回答两个,至少在录制时是这样,对吧?如果你的听众听了这个,谁知道它现在会说什么。所以它不具备这种回应能力。即使当我们要求它展示它的工作时,它也有提示,对吧?

理解,特别是我们做了一个他们的实验性思维模型。你可以在实验性思维模型中看到它正在识别詹妮弗实际上是迈克尔的一个姐妹的事实,但它仍然产生了答案。推理模块是如何工作的?LLM 在哪里?你知道吗?是的,不幸的是,我不知道。这超出了我的专业知识。我不是

机器学习工程师。我主要使用它作为我工作的工具。我确实编写了一些机器学习,一些更基本的机器学习模型,例如随机森林支持向量机,一些带有库的基本神经网络等等。所以我确实训练了我自己的东西,但是当谈到大型语言模型时,你知道的,我对一些事情有一些基本的了解,但不幸的是,不是那个。

我不知道。你认为人工智能现在有哪些漏洞?它有时仍然会产生幻觉。它仍然不能或无法分享它的推理。我想麻烦的是,有时它会告诉你你想听到的东西,你知道的,而且

它会面带微笑地直接对你撒谎。它基本上会说,这是,你知道的,它用这些人类的习惯来回答,让你想要,你知道的,同意它所说的。但是,你知道的,幻觉,或者基本上是完全错误的,我认为幻觉是一个很好的术语,只是错误,对吧?只是错误。我认为这是

是的,是的,是的。它应该编造东西,对吧?那些比我认为需要解决的一些更基本的问题更让我烦恼。这与人工智能总体而言有关。我们正在谈论

你知道的,基本神经网络,甚至像支持向量机一直到这些大型语言模型。那就是真正掌握训练集是什么。我们在喂什么?我们给这些模型的饮食是什么?这不是一个好的饮食,对吧?我认为这是我们需要认真讨论的事情。我认为现在有一些人正在谈论这个,即审查训练集,对吧?它不一定是你在哪里有一个所谓的接近。

批准或未批准的训练集。我不是想在这里专制,但我想说的是,理解训练集的局限性,并将其置于 AI 输出的背景下,而不是仅仅,你知道的,将大量数据倾倒到其中,然后说,好吧,你知道的,那是,那是正确的答案,因为那是 AI 所看到的。你只需要一点时间来整合它。然后,然后你可以使用它。

好吧,还有质量。例如,你的训练集是否代表你想要预测的类型?哦,你如何处理异常值?如果异常值不是均匀分布怎么办?

高和低,而是更高或更低。我的意思是,这里有很多东西。是的,你完全正确。或者考虑一下自动驾驶汽车,对吧?你知道的,我们在自动驾驶汽车方面已经走得很远了,但是有一些罕见的事件,我们称之为长尾事件,这些事件非常不频繁,你根本看不到足够的事件来,你知道的,训练算法。

当然,人类也是如此,对吧?我的意思是,你经历过多少次经典的驾驶教育场景,红色的弹跳球出现在你的车前,对吧?

这在现实世界中并不经常发生。这是一个单独的司机。那么我们作为人类会怎么做呢?好吧,我们会根据我们所处的环境做出我们所能做出的最佳决定,对吧?这就是我们所做的。有时结果很悲惨。有时不是。这就是这些机器学习算法将要做的。一旦它没有,如果它没有足够的这种元素

在训练集中,它将开始做出随机决策。所以我们需要,我认为,当我们理解这些训练集时,这些训练样本的稀疏性在哪里?然后,你知道的,我们是否在与算法交谈?什么是完整且高质量的数据集?它包含什么?……

一个不平衡的、糟糕的或有毒的数据集会有什么?是的,这是一个很好的问题。你知道的,我认为这肯定取决于你所处的环境,对吧?你正在查看的那些类型的事情。所以我认为我们首先真正需要问的是,我试图用机器学习算法、人工智能来解决什么问题?好的。而不是基本上只是说,这是一个锤子,所有东西看起来都像钉子。

我们想先解决问题。这也是我们在我的实验室里所做的事情。所以我们试图解决的具体问题是什么?现在我们将训练这个 AI,我们需要确保这个训练集拥有我们可能看到的全部范围,尽我们所能。你不能做到 100%,对吧?没有完美的平衡。

击球率在这里。但你想尽力确保你拥有代表性的样本,这些样本是

代表 AI 将遇到的情况的样本。知道那些稀疏的情况,以便当你的 AI 被应用时,当你的模型被应用于那个特定案例时,哦,你知道吗?我们现在正在用它来查看,我不知道,一笔百万美元的支出。我还没有在我的欺诈检测器上训练过百万美元的支出。好的。所以,

这应该被标记为红色,然后发送给人类。它说人工智能说了这句话。然而,我们知道人工智能在这种情况下训练不足。所以,请检查一下我们。这就是为什么我们要真正地再次思考人工智能和机器学习算法与人类劳动力之间的合作关系,而不是替代关系。我想就像国际象棋一样,你知道,他们和深蓝或其他什么东西一起玩,你知道,像Stockfish这样的引擎。

而现在最好的棋手们会把这些引擎和他们的知识结合起来使用。他们打败了其他人。他们做得很好。是的。我认为,在许多知识创造领域,这都是正确的,科学家们将与人工智能一起工作。就像你只是与人工智能合作一样,对吧?就像,

这甚至不特别。就像在某些时候,它甚至不会特别。这就像,是的,我在考虑这个新项目,我已经开始与Gemini或ChatGPT或你最喜欢的LLM或任何适合你的LLM进行对话了。确保你的LLM调整到你感兴趣的问题类型,对吧?因为,你知道,那样会更好。我认为,在这种情况下,更小、更专注的模型会比你的

有些术语是什么?我听说过调优。那是什么?还有一个术语。我忘了是什么了,但如果你只是,比如说,我不知道,你想和人工智能讨论伊丽莎白时代的诗歌。

你加载了,我不知道,500首诗。那会是什么?那会叫调优吗?或者那是什么?你能过度发展人工智能的一部分,以至于它会歪曲它,无法正确地回答你吗?是的,当然。我认为这绝对是可能的。我的意思是,我知道在我教给学生的更传统的机器学习主题中,即使是像各种回归模型这样的简单模型,你

你可以进行所谓的过度拟合,这意味着模型参数过于适应训练集,想想孩子的连点游戏,就像训练你打棒球一样,但他们扔给你的东西都是下手球,就像垒球投球一样,所以你永远不会获得任何真正的艰难经验,是的,或者我告诉我的学生,如果你正在学习数学考试,你所做的只是学习教授布置的家庭作业问题,所以

所以如果教授给你一个家庭作业问题,就像家庭作业问题的副本一样,把它放在考试中,你将在考试中做得很好。但是如果教授给你一个稍微不同的问题,而你所做的只是记住家庭作业问题,那么你将无法很好地发挥,因为你没有这种思维灵活性,对吧?因为你过于专注,你过于专注于你记住的特定问题集。

有没有一个设置叫做这个?或者再说一次,它只是过度拟合数据吗?对于人工智能来说,什么是非常灵活的?所以你想在那里添加一点他们所谓的偏差。你可以惩罚某些变化。

在这一点上,我们可能有点技术性了,但本质上是保持你正在使用的模型不那么复杂。所以,你知道,例如,你可能有一条看起来像驼峰的曲线,你知道,你可以使用多项式,四阶多项式,x的四次方来拟合它加上一些其他的项,但这可能会过于紧密地连接数据点。所以你可能会说,你知道吗?

抛物线并没有连接所有的点,但它给了我所有点的平均值。它给了我趋势,所以现在当我看到一个以前从未见过的新的情况时,我只会表现得更好一些,因为它并没有那么专注于你拥有的确切训练数据。

所以一点错误是一件好事,因为它提供了灵活性。它赋予模型灵活性。那么,我想在明年,你看到有什么重大进展吗?你期待什么?哦,这是一个好问题。天哪,这是一个发展如此迅速的领域。一年就像十年一样,你知道吗?

嗯,你知道,短期内,我认为,你知道,就像我说的,让我兴奋的是一些可能不太性感的工作,但参数更少、更高效、再次专门化的模型。

帮助,你知道,例如医学或科学领域的科研人员。开发更多这样的模型让我很感兴趣。出于我前面提到的原因,思维链让我很感兴趣。我还对更高效的东西非常感兴趣。现在,我不是提高这些东西效率的专家,但我一直在关注和倾听一些这方面的东西。这让我也很兴奋,因为我的一个担忧是仅仅燃烧所有这些电力来不仅训练这些模型,而且

而且还要查询这些模型,对吧?因为这是一个昂贵的过程。你正在联系数据中心,数据中心正在进行一些计算并将结果发送回你的计算机。而且,你知道,像流媒体音乐和流媒体视频一样,这些都是电力密集型的数据处理过程,你知道,它们会对环境产生影响。所以我希望看到,并且我希望在这方面有更多的效率改进。好的。是什么,我不知道,就像今天一样,是什么造就了最好的AI?就像什么,

但是,你知道,如果你有一个AI来帮助你完成一项特定的任务,那么是什么让它变得如此出色,以至于它拥有你想要的一切呢?它会有什么样的功能或特性呢?哦,这是一个非常好的问题。这取决于我想使用的工具。我发现自己使用了三种工具。我发现自己使用了Anthropic的Claude、OpenAI的ChatGPT和谷歌的Gemini。

这真的取决于我正在做什么。所以,如果我正在创作小说,我喜欢经常使用Claude。我发现Claude经常会给我一些我试图表达内容的非常好的替代方案。或者,你知道,如果我想,你知道,让一个角色,把一个角色放在某种情境中,我可能会和Claude聊一会儿。我在考虑这个。这里有一些选择吗?

我认为它只是给了那种更文学的风格。再说一次,我不会复制任何东西并把它放到我自己的作品中。我认为这不合适,但我认为它在那种意义上很有创意。当涉及到代码生成时,当我生成代码时,我发现自己更多地依赖Gemini和ChatGPT。Gemini纯粹是因为它不会把我踢掉。Gemini不会告诉我,哦,你今天已经达到了你的限制,因为我太穷了,无法支付任何这些东西的费用。

所以我发现,你知道,为了回答你的问题,其中一个就是不要把我踢掉。对。但是我发现代码还不错。你知道,它不像小说那样,情况并非总是如此,很少如此。你不能直接复制粘贴从头开始。我认为有一些简单的编码事情你可以绝对做到完美无缺。但是一些更复杂的编码事情,特别是关于我对复杂系统进行的基于代理的建模。

你知道,你想和它进行对话,并且需要多轮查询才能得到结果。但是是的,我的意思是,这就是我正在寻找的,这取决于任务。我不知道是否会有一个完美的

因为我认为我们真正可以与之合作的是那些专门针对特定主题的东西。一些帮助作者的东西,一些帮助编码人员的东西,一些帮助非线性动力学人员的东西,对吧?而不是像你所使用的这种万能AI,它可以做任何事情。是的,对于故事,我学到的是,我现在所做的是,我会写一个完整的故事,然后把它作为提示输入到AI中。AI会清理它并使其看起来漂亮,你知道吗?就像它……

它就像我,但它为我化了妆,让我看起来很好,并为我打扮。所以我不邋遢。所以这就是我看到的最好的用途,至少就写作而言是这样,你知道吗?是的。我通常不把它用于此。就像我说的,对我来说,它主要是那种困境,对吧?摆脱这种困境,进行这种对话,激发创造力。我非常注重用AI激发创造力,但是

但我确实用它来检查语法之类的东西。再说一次,你必须小心使用它。但是,你知道,对于一个快速而粗略的,比如,“这语法正确吗?”你可以浏览一下。如果它看起来不那么可疑,就像,好吧,你知道,我会继续进行下去,稍后我会和我的编辑一起检查这个,对吧?

它让我摆脱了那种困境,让我继续前进。它在总结文本方面做得相当不错,你知道,很多时候。但是再说一次,就像我告诉我的学生一样,你知道,我们仍然需要检查它输出的所有内容,因为,你知道,它确实会产生错误,而且仅仅,你知道,在使用它时谨慎行事非常重要。对。是的。真的。是的。

其他正在推出的模块。所以我们得到了像LLM这样的推理模块。GAN,生成对抗网络呢?它们如何被用来改进AI?我对GAN的理解有限。这不是我经常做的事情。但我理解的是,它们彼此对抗。如果你愿意的话,你会有两种AI互相对抗。所以,你知道,我们在像,是

是AlphaGo还是如何通过自对弈来学习下围棋。对。我认为你得到的是,你可以更快地,你可以来,你可以训练这些东西,也许不用给它那么多输入。如果你这样做会怎么样?假设,我们只是编造的。完全是。有10位世界知名的专家

专门研究非线性动力学的科学家,你就是其中之一。我把我的AI拿来,我说,这是一个问题,我把它放在那里,然后我问它。我说,使用Chris Kulp的思维模式、经验等等,我不知道,

Bob Smith,批评一下,帮我找到一个解决方案。然后你做同样的事情,但是你使用Joe Jones和Jane Smith以及Amy Hex等等,其他三个人来想出一个解决方案。你不断地轮换这些顶尖人才以及他们的想法、答案和说法。

并尝试用所有这些排列组合以九种或十种不同的方式来解决这个问题,看看你会得到什么答案。是的,现在你把它用作合作者,对吧?从某种意义上说,你让它进行虚拟合作。所以这可能存在几个问题。我想说的是,你仍然需要了解你正在研究的领域的一些知识。你不能是一个新手,对吧?因为你必须能够解释输出结果,以确保它

它实际上是正确地整合了东西。对。另一件事也是,确保我们谈论的是道德上训练这些东西。你知道,我是否允许Y公司训练,成为我,对吧。或者至少是模拟我。

这就是现在艺术家们真正担心的事情,而且理所当然。所以我们谈论的是,你知道,以Chris Kulp的风格思考,或者以爱因斯坦或任何其他科学家的风格思考,你知道,我认为这里有一个问题我们需要,我们需要担心。但是如果我们把这个问题放在一边,只是说,假设我们拥有所有权利,对吧。然后没关系。然后再说一次,你仍然必须小心,因为,你知道,正如我们前面谈到的,幻觉仍然会发生。所以你仍然不能只是纯粹的旋钮,对吧。但是再说一次,

话虽如此,

你不一定非得是专家。对。所以基本上,这有助于使这些东西更容易获得。好的。有没有,我不知道你是否对一些AI的工作方式有预见,但是AI正在做的事情中有没有什么让你大吃一惊的?你就像,我不相信,伙计。这太疯狂了。是的。我可以再举一个课堂上的例子。我们正在解决一个问题,我们想知道AI如何做到这一点,并尝试了一些东西。然后,

我不知道,有点即兴发挥。我说,你知道吗,让我们问它一些完全,你知道,高级物理学的问题,看看它能做什么。而且

问题是你有一个想想一个旋转的圆盘,一个摆锤粘在圆盘的末端。你想基准,我们要求AI创建描述该摆锤运动的方程。这是一个大二、大三水平的物理问题。好的。果然,它正确地解决了。是的。然后我做了这个即兴评论。我说,你知道吗?

我觉得它可能无法解释这个方程的术语。换句话说,比如这个术语是代表重力的术语。这个术语代表圆盘的旋转,等等。我的一个学生说,为什么我们不弄清楚呢?让我们试试。所以我们只是说,你能解释你的答案吗?让我震惊的是它可以。它逐项地解释了该方程,并说,你知道,这是由于重力引起的扭矩。这是由于旋转圆盘引起的扭矩。我们,我和我的学生只是看着屏幕,下巴都掉了。

那是我没有准备好它能做到的事情。我不知道为什么我没有准备好。我不知道为什么我没有预料到,但它只是那些让我,它让我震惊的时刻之一,它能够做到这一点。所以是的,这就是那个例子。它是什么,

让我震惊的是解释。解决问题,好吧,也许它在某个地方的训练集中找到了这个问题,所以它以前见过,但实际的解释,这才是真正让我,是的,我对此印象非常深刻。好的。好吧,很有趣,他们总是说AI就像黑盒子一样,你知道,内部层次等等。是的。能

能训练一个AI来这样说吗,嘿,弄清楚这个其他AI内部发生了什么?哦,这是一个好问题。我不知道。你知道,我会像,我会像科学家一样在这里回答。我认为有一些事情人们正在,人们肯定正在,再说一次,这有点超出我的专业知识,但是人们开始,你知道,回答这个问题,这些神经网络是如何做出决策等等。在这个过程中,我们还处于非常早期的阶段。

我们可以让一个训练有素的AI学习另一个AI的工作方式吗?那将是疯狂的。而且它可能已经完成了。不幸的是,我只是不知道,但我肯定会研究一下,因为它听起来像是有人尝试过的事情,对吧?这听起来仍然是基于某种东西。我只是不知道。好的。我知道我之前已经回答过了。我不知道我们是否得到了答案,但是你认为AGI是可能的,还是说,它,我们并没有真正地,你知道,我不知道。我认为,

我会像那种犹豫不决的科学家一样,对吧?我不知道我们是否理解人类的意识是什么,对吧?所以很难理解

说,我们能否然后识别,你知道,AGI?我们能够做到吗?这也是一个问题,就像,你知道,在寻找地外生命时,你知道,当我们发现生命时,我们会知道生命吗?在宇宙中?当我们遇到有意识的AI时,我们会知道它吗?可能不会。你知道,我认为我们需要更好地理解是什么让我们成为我们自己。我认为像你刚才问的那种问题有助于

有助于这一点,对吧?我认为研究AI有助于我们了解自己。就像双足机器人一样。就像,你知道,你不会真正欣赏用两条腿走路有多难,直到你试图让机器人做到这一点,对吧?所以我认为是一样的。我们有一天会拥有AGI吗?当然。是的。但这还很遥远。我认为我们还远没有达到

接近那个程度。但你知道科学是如何运作的。你知道,突然之间你认为你得到了答案,砰,第二天它就在你面前。这就是科学的疯狂之处。绝对的。好吧,

好吧,非常好。那么,人们在哪里可以以简单的方式学习更多关于AI的知识,他们在哪里可以理解它?如果他们想参加课程,那么对他们来说,一个好的入门课程是什么?哦,有很多在线课程可以通过YouTube学习。我可以告诉你我是如何开始的。有些人可能会对此感兴趣,但是Andrew Ng,

作为一名,他过去有一个Coursera课程。我认为它仍然存在。这是很多年前的事了。但是,但是他讲授的很多东西,它就像基础扎实一样。如果你真的想深入了解机器学习的基础知识,然后学习更复杂的东西。那个Coursera课程很棒。我认为它就叫做机器学习,入门机器学习或类似的东西。我确定。Ng是他的姓。我认为是Kerb。是的。而且,而且,

是的。我非常不擅长念名字。你知道,人们说我不会数学。好吧,我不会念名字。但是你知道,他有一个课程,我相信它已经更新了,我从那里开始学习,真的很好。然后还有一本书我也推荐。它叫做动手学机器学习。

Andrew或者不,Aurélien Géron是这本书的作者。这是一个很好的,我实际上在我的应用机器学习课程中使用这本书。有很多很棒的代码示例。它有一个非常好的GitHub存储库。它会逐步讲解,再次,它从线性回归、逻辑回归开始。这些是

坚实的基础,如果你想了解机器学习和AI的问题,你想了解这些东西,因为这些东西有你的成本函数,这些东西你可以谈论真阳性,你知道假阴性,你可以谈论精度和召回率,并获得一个真正的基础,就像对正在发生的事情的基础理解,然后再学习更复杂的东西,好的

好吧,非常好。克里斯,非常感谢你来到播客并解释。我知道它仍然令人惊奇、奇怪和难以解释,但感谢你的尝试。是的。感谢你的邀请。我真的很感激。如果你喜欢这个播客,请点击描述中的链接,在iTunes上订阅并评价我们。你一直在收听Richard Jacobs主持的Finding Genius播客。

如果你喜欢你听到的内容,请务必在iTunes或你收听播客的任何地方评价和订阅Finding Genius播客。想比其他人更聪明吗?成为FindingGeniusPodcast.com的付费会员。本播客仅供信息参考。没有提供任何建议。你因收听而采取或不采取的任何行动都是你自己的责任。当需要建议时,请咨询专业人士。