We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
G
Gary Marcus
一位批评当前人工智能研究方向的认知科学家和名誉教授。
主
主持人
专注于电动车和能源领域的播客主持人和内容创作者。
Gary Marcus: 我认为，简单地通过增加计算能力和数据来提升大型语言模型性能的方法已经达到了极限，我们正处于收益递减的阶段。许多AI领域专家也已经承认了这一点，并且正在尝试一些补救措施。对大型语言模型扩展定律的过分乐观导致了巨额投资，但实际结果令人失望。大型语言模型扩展定律并非真正的数学定律，而只是在一段时间内有效的经验概括。大量的实验结果表明，简单地增加模型规模并不能带来预期的显著性能提升，这说明了模型扩展方法的局限性。大型语言模型的性能提升已经偏离了最初的指数增长曲线，进入了收益递减阶段。增加计算量和数据虽然能带来一些性能提升，但收益已经远不如以前，这说明了“收益递减”的现象。即使投入巨资增加模型规模，性能提升也并不显著，这表明单纯的规模扩展并非解决问题的有效途径。当前大型语言模型的“推理”能力实际上是对人类推理模式的模仿，而非真正的推理能力，因此其能力是有限的。大型语言模型的“黑箱”特性阻碍了我们对其工作机制的理解，也使得我们难以解决模型中的问题，例如幻觉现象。大型语言模型缺乏可解释性，这使得我们无法理解其内部工作机制，也限制了我们对其进行改进和修复的能力。虽然大型语言模型在某些基准测试中表现有所提升，但在实际应用中，其性能提升并不显著，并且仍然存在许多问题，例如幻觉和推理错误。大型语言模型的改进并未达到预期，仍然存在幻觉、推理错误等问题，这表明需要采用不同的架构来解决这些问题。大型语言模型仍然存在细微的错误，这些错误可能不被用户注意到，但会影响其可靠性。大型语言模型擅长于重复已有的信息，但难以处理需要创造性和原创性的任务。人们过度依赖大型语言模型会削弱他们的批判性思维能力，这是一个严重的问题。我认为，进一步的投资不会带来显著的回报，大型语言模型的推理能力的提升有限，不会带来质的飞跃。在没有重大创新突破的情况下，未来几年内不会出现显著的性能提升。当前大型语言模型的架构可能存在缺陷，需要探索新的方法来实现真正的AGI。大型语言模型领域的投资估值过高，未来可能会出现金融危机。如果大型语言模型的进一步扩展不能带来显著的性能提升，将对英伟达等依赖于模型扩展的公司造成重大打击。大型语言模型领域存在价格战、缺乏技术壁垒等问题，这将进一步限制其发展。实现真正的AGI需要结合神经网络和符号人工智能两种方法，即神经符号人工智能。当前的神经网络模型主要模拟快速直觉思维，缺乏理性思维能力，这限制了其发展。神经符号人工智能是结合神经网络和符号人工智能的有效方法，可以克服两种方法各自的局限性。
主持人: 大型语言模型的性能提升已经达到极限，进一步的投资不会带来显著的回报。大型语言模型的推理能力的提升有限，不会带来质的飞跃。即使大型语言模型没有达到AGI的水平，也仍然存在很多风险，例如幻觉和在病毒学领域的应用。人工智能技术已经发展到可以辅助病毒研究的阶段，这引发了人们对生物安全风险的担忧。人工智能技术存在多种风险，包括低水平人工智能的错误操作和高水平人工智能的潜在威胁。即使没有达到AGI水平，人工智能技术也可能被恶意利用，例如用于研发危险病毒。开源人工智能模型存在安全风险，因为恶意行为者可能会利用这些模型进行有害活动。即使人工智能模型的性能不再提升，仍然会发现新的用途，其中一些用途可能是积极的，另一些则可能是消极的。大型语言模型公司可能会为了盈利而将用户数据用于商业用途，这引发了人们对隐私的担忧。如果大型语言模型公司无法实现AGI，他们可能会将收集到的用户数据出售给其他公司，这将对用户隐私造成威胁。大型语言模型的商业模式很可能会转向监控和精准广告，就像社交媒体一样。一些公司已经开始意识到大型语言模型无法实现其最初承诺的功能，并开始调整其战略。实现AGI需要结合快速直觉思维和慢速理性思维两种认知方式。
Deep Dive
Shownotes Transcript