Audio Edition: Can AI Models Show Us How People Learn? Impossible Languages Point a Way.
2025/5/22
Quanta Science Podcast
A
Adele Goldberg
C
Christopher Potts
I
Isabel Papa-Dimitrio
J
Jeff Mitchell
J
Julie Collini
R
Richard Futrell
R
Ryan Neft
T
Tal Linzen
T
Tim Hunter
@Tal Linzen : 我认为很难从语言模型的行为中得出结论。即使它们做的事情看起来和人类一样，也可能是出于非常不同的原因。这不仅仅是关于定义的争论。如果语言模型真的在学习语言，研究人员可能需要新的理论来解释它们是如何做到的。但如果这些模型只是在做一些更表面的事情，那么机器学习可能无法为语言学提供任何见解。
@Adele Goldberg : 我认为绝对有必要对大型语言模型进行研究。过去人们认为它们不能学习语言，现在又认为它们学习的方式与人类不同，或者它们可以学习任何东西。这项研究是对它们可以学习任何东西的观点的反驳。我认为这是一篇很棒的论文，非常及时和重要。结果表明，语言模型可能对研究人员理解婴儿的咿呀学语是有用的工具。
@Tim Hunter : 我觉得说人类天生擅长学习某些事物，而不擅长学习其他事物，这没有意义。如果在通用的计算原则是唯一的指导因素，那么在动词后四个词的位置放置一个词似乎应该出现在人类语言中。然而，我们观察一种又一种的语言，并没有看到任何这样的情况。没有人类语言遵循这种模式。
@Isabel Papa-Dimitrio : 我认为语言模型是第一个我们可以以某种介入方式来实验关于人类语言的结构和性质的东西。由于没有动物模型，语言模型为我们提供了一个独特的机会，可以探索人类语言学习的机制。
@Jeff Mitchell : 我觉得这是一种非常线性的看待语言的方式。这种学习模型只是试图学习下一个单词。所以你只是说，我已经看到了这些单词，接下来是什么？这种方法可能无法捕捉到人类语言学习的复杂性。
@Christopher Potts : 我记得我有点不太鼓励，因为似乎我们需要训练大量的语言模型，并且还要解决一堆难以解决的概念性问题。所以我觉得对于你的第一个博士项目，也许对于整个博士项目来说，这都可能是一个项目。Julie 非常坚持这一点。
@Julie Collini : 我在斯坦福大学与其他计算机科学专业的学生交谈时，很多人都认为 Transformer 可以学习任何东西。这促使我们去验证这个说法，看看现代的语言模型是否真的能够学习不可能的语言。
@Richard Futrell : 我认为理论上，一个全能的预测器在不可能语言和可能语言上不会有任何难度差异。然而，我们的研究表明，语言模型在学习不可能语言时确实遇到了困难，这表明它们并非全能。
@Ryan Neft : 我非常喜欢 Collini 等人的论文，因为他们以一种中立的方式研究了来自理论语言学文献的高度理论化的主张。我认为不可能语言的连续体非常有用，即使你不相信或质疑结果或方法。我认为这篇论文非常有成果，因为它开启了许多不同的途径和问题。
Deep Dive
This chapter explores the debate surrounding AI's ability to learn languages. It examines whether AI models truly learn or simply mimic human language, highlighting the contrasting views of experts and the implications for linguistic theories.
- AI language models initially disregarded decades of linguistics research.
- Debate exists on whether AI models genuinely learn language or just mimic it.
- A key paper challenges the idea that AI can learn any language equally well.