We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode 314: Mike Schuster, Two Sigma AI Leader and Google Translate Pioneer, On AI in Finance, Data Challenges, Collaboration, and Future Trends

314: Mike Schuster, Two Sigma AI Leader and Google Translate Pioneer, On AI in Finance, Data Challenges, Collaboration, and Future Trends

2024/12/16
logo of podcast AI and the Future of Work

AI and the Future of Work

AI Deep Dive AI Insights AI Chapters Transcript
People
D
Dan Turchin
M
Mike Schuster
Topics
Mike Schuster: 在金融科技领域应用AI,需要构建协作团队,解决数据质量问题,并关注伦理风险。金融公司与科技公司的AI研发存在差异,前者更注重成本控制和风险管理。AI技术在金融领域的应用,虽然能提高效率,但仍需人类的判断和干预,完全自动化尚不可行。未来AI技术将持续改进,但不会出现颠覆性变化,主要体现在模型效率和数据质量的提升上。 Dan Turchin: AI在金融领域的应用存在伦理风险,例如可能导致某些人群难以获得负担得起的保险。AI领域的监管难以跟上创新的步伐,厂商应加强自律,消费者也应提高自身维权意识。所有AI系统都面临数据质量和偏差问题,金融领域的数据质量尤其糟糕。当前AI技术仍处于不成熟阶段,存在计算成本高、能耗大、理解能力有限等问题。未来五年AI领域的主要改进方向在于提高模型效率、提升数据质量和解决实际问题。

Deep Dive

Key Insights

What are the key differences between building AI technologies in tech companies like Google versus finance firms like Two Sigma?

The primary differences include company size, resource availability, and collaboration culture. Google, with over 180,000 employees, has vast resources, allowing for experiments on thousands of GPUs. In contrast, Two Sigma, with around 2,000 employees, operates on a smaller scale, requiring more cost-conscious decisions. Collaboration is also more critical in finance, where complex systems demand teamwork, code reviews, and rigorous testing, which may not be as ingrained in finance as in tech.

What challenges does Mike Schuster highlight regarding data quality in finance?

Data quality in finance is often poor due to multiple factors, including human errors like 'fat-fingering' trades, engineering issues in data recording, and inconsistencies during events like mergers. These issues make financial data noisy and messy, requiring significant effort to clean and standardize before it can be used effectively in AI models.

How does Mike Schuster view the ethical risks of using AI in finance compared to other industries?

In finance, ethical risks are less about disadvantaging specific groups (as in tech) and more about ensuring accurate decision-making. The primary concern is avoiding overpromising or misusing AI, which could lead to financial losses. Unlike tech, where bias might affect users directly, finance focuses on optimizing measures like risk and return without disadvantaging retail users.

What was the breakthrough moment for neural machine translation at Google?

The breakthrough came when a small team, including Mike Schuster, developed a prototype using neural techniques instead of statistical methods. This prototype, tested on English-to-French translation, outperformed existing systems significantly. The success led to scaling the model across multiple languages, eventually running on 20,000 servers globally, revolutionizing machine translation.

What does Mike Schuster predict for the future of AI over the next five years?

Schuster expects incremental improvements rather than revolutionary changes. He anticipates models becoming more efficient in terms of energy use and cost, with advancements in software rather than just hardware. Data quality will remain a challenge, but filters to separate good from bad data may improve. Overall, AI will become more integrated into daily life, similar to how speech recognition and calculators are now commonplace.

How does Mike Schuster address the risk of AI overpromising in finance?

Schuster warns against the hype and overpromise of AI advancements, which can mislead investors and decision-makers. He emphasizes the importance of grounding expectations in reality, as many doomsday scenarios predicted in AI have not materialized. Instead, he advocates for a balanced view, focusing on practical improvements and avoiding exaggerated claims.

What role does collaboration play in advancing AI at Two Sigma?

Collaboration is crucial at Two Sigma due to the complexity of AI systems. Schuster highlights the need for teamwork, code reviews, and rigorous testing, which are standard in tech but less common in finance. Building a culture of trust and constructive feedback is essential for tackling large-scale projects and ensuring the reliability of AI systems.

Chapters
This chapter explores the challenges and importance of building collaborative teams for complex AI systems in finance, contrasting the experiences of working at tech companies like Google with finance firms like Two Sigma. It highlights the significance of code reviews, unit tests, and creating a collaborative atmosphere for success in large-scale AI projects.
  • Challenges of building collaborative teams in finance for complex AI systems.
  • Differences between AI development in tech companies (Google) vs. finance firms (Two Sigma).
  • Importance of code reviews and unit tests in collaborative AI development.
  • The evolution of collaboration in finance towards team-based approaches for complex projects.

Shownotes Transcript

你需要组建一个团队,共同致力于大型系统,例如代码审查,当然还有单元和回归测试。对于在科技行业成长起来的人来说,这些都是很正常的事情,但在并非所有金融公司都是如此,对吧?

早上好,下午好,或者晚上好,这取决于你在哪里收听。欢迎收听人工智能与未来工作播客,第314集。我是你的主持人,丹·图尔钦,PeopleRain的首席执行官,PeopleRain是面向IT和人力资源员工服务的AI平台。

感谢你们的支持,我们的社区正在不断壮大。我经常被问到如何与其他听众见面。为了实现这一点,我们推出了一份时事通讯,每周分享一些播客中没有的见解和技巧,以及你们互相交流的机会。它是免费的,一点也不垃圾邮件。未经许可,我们绝不会分享你的信息。当然,我们会在节目说明中分享注册链接。

如果你喜欢我们的节目,请告诉你的朋友,并在Apple Podcasts、Spotify或你收听的任何地方给我们点赞和评分。

如果你留下评论,我可能会在接下来的剧集中分享,就像来自康涅狄格州纽黑文市的洛里的这条评论一样,她在耶鲁大学教授心理学,并在园艺时收听。洛里最喜欢的剧集是与Enso Data联合创始人克里斯·费尔南德斯一起讨论人工智能如何诊断和治疗睡眠障碍的那一集。这是一次很棒的对话。当然,我们会在节目说明中链接到它。谢谢你,洛里。

在这个节目中,我们每周都会从人工智能思想领袖那里学习。当然,额外的奖励是,你每周都会得到一个关于人工智能的趣闻。今天的趣闻,马丁·阿诺德和伊恩·史密斯在《金融时报》在线版上写道,人工智能可能会使某些人无法投保。

一些专家对人工智能在健康保险等领域的应用表示担忧,在健康保险领域,实时数据可能会增加个性化程度并降低一些消费者的成本,但也可能增加让一些不健康的人或无法使用技术的人难以获得负担得起的保险的风险。

欧盟保险监管机构表示,鉴于算法定价模型最终可能无意中歧视某些人的风险,公司应做出合理的努力来监控和减轻数据和人工智能系统中的偏差。最近,欧盟保险专员屈服于保险公司的压力,宣布他们至少到明年才受欧盟人工智能法规的约束。我的评论是,监管措施无法跟上创新的步伐。让我们停止假装它可以。供应商有责任互相问责。

对于消费者来说,同样重要的是要习惯于要求了解影响我们个人生活的决定是如何做出的,如果我们对得到的答案不满意,就要寻找替代服务。当然,我们会在今天的节目说明中链接到全文。现在让我们转向今天的对话,迈克·舒斯特是Two Sigma的AI核心团队负责人,

他是科技和金融领域人工智能趋势的专家,在Two Sigma拥有超过25年的通用机器学习经验。迈克领导着一个由工程师和数量研究人员组成的团队,将人工智能工作整合到机器学习和深度学习等领域,应用于公司的投资策略。迈克还负责监督公司内部使用的AI技术的进步,以实现更高的效率,

在加入Two Sigma之前,迈克在谷歌工作了12年,在那里,除了其他项目外,他还参与了谷歌大脑团队开发谷歌翻译的工作。舒斯特博士获得了日本奈良科学技术研究所的电气工程博士学位。我想说,在314集节目中,只有少数嘉宾明确地改变了世界。今天的嘉宾实际上就是其中之一。我一直非常期待这次谈话。事不宜迟,迈克,我很荣幸欢迎你来到播客。让我们从让你分享更多关于你辉煌的背景以及你如何进入这个领域开始吧。

好的,非常感谢。这是一个非常好的介绍。你知道,我只是在这个技术领域工作的人之一。所以不仅仅是我。我只想指出这一点。还有很多其他人,我们可能会更多地讨论这个问题,对吧?这从来都不是一个人。但关于我的背景,人们可能会注意到我的德国口音。有些人会立即注意到。其他人则需要一段时间。我在德国长大。

我在家乡学习电气工程,然后去日本攻读博士学位。在那段时间,实际上是在那之前,我对语音识别和机器学习产生了兴趣。基本上当时我自己学习了很多这些东西,因为它没有在大学里教授

在我上大学的时候,当时几乎没有计算机科学,但这我的爱好之一,我和我的朋友们。博士毕业后,我在日本和加利福尼亚之间来回搬了好几次,从事研发工作,在NTT的一家初创公司,在ATR,也就是我攻读博士学位的研究实验室,主要从事语音识别和一些机器学习工作。所以

然后一个更大的变化是我在2006年来到谷歌,在一个相当小的语音识别团队工作。我想,当时有10到12个人,有一段时间它相当小。那时语音识别对世界上许多人来说并不是真正令人感兴趣的事情。我的意思是,每个人都认为这永远不会成功。但是谷歌……

谷歌有点预见性,好吧,让我们继续努力。到2007年、2008年,我们在一些其他实验之后,将第一个系统放在Android和iPhone上,它是基于服务器的。然后这真的起飞了。这对我们来说是一个非常有趣的时期,因为全世界开始使用语音识别,我们……

今天我们常常无法想象,那只是15年前的事情,因为今天每个人都习惯了在手机和各种环境中使用语音识别。所以

在谷歌,我长期从事语音工作,但也从事推荐系统工作。你可以考虑一下,例如YouTube。当你观看下一个视频时,你会观看哪个视频?我在这方面工作了一段时间,这实际上是通过当时使用神经语言模型来完成的,这是一个非常有趣的内部项目。然后

我加入了大脑团队,很快就开始从事翻译工作,机器翻译,一种语言到另一种语言。我想我们稍后会有另一个问题更深入地探讨这个问题。但这是一个非常有趣的时期,因为我们……

我们一小队人实际上做了一个原型,效果非常好。我们可能改变了谷歌的很多翻译,然后是世界上的很多翻译。尽管其他人也在做同样的事情,但这仍然是一个非常有趣的时期。所以从2018年开始,我来到了Two Sigma,彻底改变了一切。

我的生活,基本上,因为我从西海岸搬到了东海岸,在一个新的领域,我一直对金融感兴趣。所以我多少有点……

感觉不错。我也相信语音识别的背景实际上并不是很有用,因为它有很多数据,是大型模型,数据很嘈杂,你需要处理大型系统,这与大多数量化金融工作非常相似。所以是的,也许我就说到这里。我们可以在后面的问题中更多地讨论我们在Sigma的工作。

让我们来谈谈这个话题。你现在在最成功的对冲基金之一工作。一个NLP专家在对冲基金工作并不明显。描述一下你的角色,也许再多分享一些关于Two Sigma的信息。好的。正如你在开头所说,我负责所谓的AI核心团队。你知道,我们目前大约有25人,但在Two Sigma,AI意味着更多。你可能总共有

大约1300或400名工程师,以及300名博士。许多建模人员在你可以称之为AI的各个领域工作。在我2018年加入时,

我记得与领导们交谈,也与创始人交谈,与首席技术官交谈,我们应该组建一个在公司范围内使用AI的团队。这里的创始人以及公司的领导者都有远见,我认为是正确的,即科技领域发生的事情最终也会在金融领域发生。我们想要一些这样的技术。他们基本上对我说,嘿,我们会给你一些自由。

和一些人等等,基本上让我们变得更好。对我来说,这意味着,好吧,现在轮到我来制定计划了,找到可应用的问题,当然要对事情保持现实的态度,对吧?这不是象牙塔,你不能只是有一些没有人使用过的想法,对吧?事实证明,这对我或对我们来说是正确的环境。我们组建了这个团队,它基本上是

工程和我们这里所说的建模或研发工作的混合体。这运作得非常好。我的意思是,我们在公司内部和许多不同的领域取得了很大的进展。我想说的是,它每年都在变得更好。

众所周知,你在谷歌的团队开发谷歌翻译时向杰夫·迪恩要了2000个GPU,我想。而且在本周末结束时,它们就被配置好了。所以我要问,在金融公司与科技公司构建AI有什么不同?你知道,我不记得你刚才提到的这个确切的小细节,但这听起来对谷歌来说非常典型,对吧?所以,我的意思是,这可能是最大的区别之一。所以人们总是问我,金融和科技有什么不同。我说,好吧,第一个区别是,首先,公司的规模。你知道,当我加入谷歌时,不到5000人。当我离开时,有8万人。今天,他们有18万人。

在Two Sigma,我们大约有2000人。这本身就造成了巨大的差异,因为你认识所有的人,你知道只有一个小型团队负责,比如说,GPU,这在谷歌完全不同,对吧?而且它不是,我的意思是,这显然也适用于资源。在谷歌,我们有时会让人们轻松地在数千个GPU上运行实验,对吧?这里更难。

但这也有可能,因为你知道,我们显然正在使用云,而且在云中你可以做很多事情。但是所有这些都需要花钱,这实际上是我们一直都在思考的事情。我相信这不仅仅是我们面临的问题或挑战,而是……

对于这个领域的基本每个人来说都是如此,对吧?没有什么东西是免费的。想法可能是免费的,但工作和计算成本很高。也许我还可以关注一些我长期以来观察到的更多差异,对吧?金融……

可能不像今天这样技术化,尤其是在我现在所在的公司。我的意思是,Two Sigma总是认为自己是金融科技领域的领导者之一。所以当我从谷歌来的时候,很明显那里有很多科学家。一切都是……

神经网络在我离开时至少有大约一千人知道,对吧?还有许多其他的机器学习技术,云计算是众所周知的等等。在这里,这一切可能花费了更长的时间。所以神经网络被使用了。我实际上不知道他们第一次使用神经网络的确切年份,但这实际上是在我来到这里之前,对吧?所以它们被使用了。

也许不像我们今天使用它们的方式那样,因为今天我们有成千上万的参数或数百万的参数,TB级的数据等等。我们在云中的多个GPU上进行训练,使用TensorFlow和PyTorch等技术,显然还有Python和Rust以及许多其他语言。所以这是非常技术的。

最后,我还想提到的一个区别是,当我从谷歌来的时候,协作是一个非常重要的主题。这就是为什么协作很重要?协作很重要,因为你所从事的工作非常复杂,你无法独自完成。当然,总有一些人可以自己做很多事情,但在几乎所有先进的技术领域,它都变得很困难。

典型的是,问题变得如此之大,以至于你需要一个团队。这可能也已经发生在金融领域。但在我待在Two Sigma期间,这种情况越来越频繁。这意味着你找不到一个天才来做所有的事情,这基本上是你拯救公司或其他什么东西。你需要组建一个团队,共同致力于大型系统,例如代码审查和

当然还有单元和回归测试。对于在科技行业成长起来的人来说,这些都是很正常的事情,但在并非所有金融公司都是如此。而且,这听起来可能很有趣,但代码审查是一件这样的事情,如果你只是在大学里,你可能从未有过这样的经历,即其他人查看你的代码,并实际告诉你如何做得更好。如果你没有做过,你需要学习这一点。

我认为营造这种氛围非常重要。我认为这给了我们在工作方式和如何继续推进我们一直在进行的更大项目方面很大的回旋余地。在这个播客中,我们经常谈论人工智能的风险以及围绕人工智能的伦理问题。而且

在机器翻译、将其用于医学诊断或翻译国家安全文件时,这些问题是显而易见的。我要冒昧地说,在金融领域使用人工智能的风险和伦理问题非常不同。向我们介绍一下你如何看待你所做工作的风险和伦理影响,以及误报或漏报的潜在影响。

好的。首先,我认为科技行业的人谈论风险的方式可能与金融行业的人略有不同,对吧?但是金融领域的技术已经改变了很长时间,不断变得更加先进、更加集成和更加复杂。但从某种程度上说,风险……

比如说,普通人看到的风险,根本没有改变,对吧?所以比如说,风险是你赚了很多钱。好吧,这可能不是风险,但你损失了很多钱是风险,对吧?基本上,每个金融公司都有风险团队和风险限制以及各种控制措施来真正控制等式的那一部分,对吧?你可以说你使用任何技术……

比如说,我不知道,如果市场下跌超过3%,可能会发生某些事情。有人可能会打电话给某人,我们是否应该进一步降低风险?诸如此类的事情一直都在发生。而且我实际上会争辩说,

这种风险,我的意思是,这种风险,对吧,可能比以前低,对吧?因为有,我的意思是,我不会,你知道,很难证明这类事情,但仅仅是因为有更多的科学和技术在发挥作用,这可能比以往任何时候都更好,

我不认为这种风险是一个问题。真正存在的风险,这可能是一个完全不同的风险,是某些进步的炒作和夸大其词的程度

可能会真的让人们分心,并引导他们走向错误的方向。我的意思是,我不仅在金融领域看到了这一点,在许多其他领域也看到了这一点。这在某种程度上是一种典型的互联网现象。也就是说,你知道,如果有人向你承诺

金融的某些方向或类似的东西,对吧?请把你的钱投资到这里或类似的事情。我说这是一个真正的风险,因为许多这些事情都是不真实的。在过去的15年中,我们听到过很多关于人工智能的事情,不仅仅是金融领域,而且是人工智能领域,这些事情都指向了世界末日的情景。大多数,如果不是全部的话,都没有实现,对吧?

我从某种程度上来说,更……我认为变化肯定会发生,但不会像互联网、电影或,你知道,通常是那些有时甚至是该主题专家的人所描绘的那样极端,对吧?所以如果市场行为完全理性,那么所有信息

将很快被定价。传统上,这将是通过人类接收来自市场的各种信号,每份收益报告,对吧,所有外部信息来实现的。

但是人类与具有完美记忆力并且可以立即摄取和分析比人类多得多的数据的算法竞争,似乎人类能够做出比算法更理性的交易决策的日子屈指可数了。这是否牵强附会?好吧,这可能是这种情况。但到目前为止,这当然还没有发生,对吧?有

我的意思是,从某种程度上来说,你是对的。计算机擅长的一件事就是收集大量信息,一次查看数千只股票或你正在交易的任何东西,你知道,诸如此类的事情。人类做不到这一点。但到目前为止,已经发生了足够多的事件

使我们称之为,你知道,它使数据随着时间的推移而变得非平稳。而且,你知道,在过去几年中,发生了以前从未以这种方式发生过的事情,对吧?是COVID,对系统造成了巨大的改变。然后我们看到战争在乌克兰爆发,这在当时也是出乎意料的。所以所有这些事情一直在发生。

许多这些事件可能对非金融领域的人来说并不熟悉。每次人类都需要介入并说,嘿,伙计们,我认为我们不应该这样做。所以我们,我想说的是,距离真正实现自动化还有相当长的距离。我的意思是,我们学到的一件事是,我们……

事实上,自从我们开始使用AI以来,我们已经雇佣了更多的人。很多人有时会担心工作等等。我的意思是,我唯一能说的再次是,现实情况是,我们目前拥有美国有史以来最低的失业率之一。而且我当然听说过……

技术接管等等已经很长时间了。这根本不是真的。工作会发生变化,但它们不会消失,对吧?所以过去可能,我们有,你知道,今天我们有提示工程,几年前我们还没有为LLM使用提示工程。还有很多例子,基本上会在一些其他的工作逐渐消失的同时发生。但是

是的,我不确定这实际上是你想要深入探讨的问题之一。但我试图……

一直告诉人们,让我们看看现在的现实,而不是试图预测未来可能发生的事情,但谁知道实际上会发生什么。我还想评论一件事。你之前说过,这当然是诺贝尔奖获得者提出的著名假设,他说,所有信息都在那里,所以基本上在金融市场中不应该有任何

收益可能,对吧?这已经被证明是错误的,无论如何,已经有50年了,对吧?因为问题是,在实践中,你无法获得所有信息,对吧?而且它只是,中间有很多工程。而且它……

这对于世界来说太复杂了,无法处理,对吧?我认为这实际上会持续下去。总会有这样的人类,他们会比一台机器做出更正确的长期决策,而这台机器只掌握了关于过去和潜在未来的有限信息。

因此,作为Two Sigma AI核心团队的负责人,你个人承担着一些责任,我假设,负责代表组织监督AI的负责任使用。你如何看待这种责任?也许你使用的一些最佳实践或策略来培训你的团队或执行最佳实践?对我们来说,这意味着我们必须测试10次。我们必须编写单元测试。我们必须对所有内容进行回归测试。

我们必须确保我们开发的技术确实按照我们的预期工作,而不是以其他方式工作。因此,当你考虑AI的本质时,我要冒昧地说,所有AI都是数据问题,AI的设计天生就能够复制人类的偏见。因此,当你考虑你正在训练模型的数据类型时,我想这将是一组不同的数据卫生挑战。

当你构建模型和评估偏差时,你如何看待数据质量?好的。让我们先谈谈数据质量。一般来说,金融领域的数据质量实际上相当糟糕,对吧?所以

有很多不同的来源。有人会错误地输入交易,并输入他们实际想要输入金额的10倍。在获取数据或以正确的方式记录数据方面存在工程问题,你经常会

错过某些时期或其他什么东西,然后是一家公司,比如说合并或其他什么东西,你得到了错误日期的错误数据。我的意思是,一直都会发生各种各样的情况,使数据非常非常嘈杂和混乱。有时人们会生成错误的数据,而且这些数据就在那里。所以所有这些都会发生。所以数据质量相当糟糕。

但这如何影响有偏差的决策或负责任的AI?所以,再一次,这里不同的是,当科技行业的人谈论有偏差的决策时,他们通常的意思完全不同,对吧?在科技行业,这通常意味着某些群体比其他群体更处于劣势,比如说种族或性别等等,对吧?它总是适用于用户。所以

在金融领域,我们没有那种意义上的普通用户。当然,我们有投资者,但这完全是另一回事。所以,就我们如何创造或使用偏差为例,如果我们使用过多的短期数据而不是长期数据。但最终,我们希望一次优化许多指标,并且

我们显然试图以最好的方式做到这一点。而且只有这样才没有真正的风险让某人因此而处于劣势。至少对我们来说,这并不适用,因为我们没有零售用户。它并不像,比如说,对银行或类似机构那样对我们适用,对吧?这完全不同。这是一个很好的视角。所以,

我经常说AI的现状滑稽地不成熟。对于很多人来说,当你这么说的时候,他们会扬起眉毛,因为,天哪,LLM可以非常可信地写出关于猫的俳句。但是当你考虑运行模型的成本时

能源消耗、训练速度、推理速度、这些下一个标记预测器只是词袋的事实。他们并不真正理解他们输出的内容。

他们并不真正理解物理环境。这就是我说现状不成熟的意思。快进五年,根据你对AI和研发现状的了解,你认为在五年后我们进行类似的对话时,哪些最大的障碍会被消除?

好的。我认为五年实际上是一个很好的时间窗口,因为它不是20年,对吧?所以五年是我们至少可以想象的东西,对吧?如果我们……

所以,你知道,准确预测未来当然很难,对吧?但是特别是,你知道,我认为你想谈谈LLM作为一部分。但我个人认为,实际上很多事情的变化会比人们预期的要小。所以……

当然,其中一些模型会变得更好,它们会,而不是在数学竞赛中获得银牌,它们可能会在数学竞赛中获得金牌,对吧?好吧,这可能会发生。好吧,这令人印象深刻。这就像DeepMind的围棋引擎击败围棋世界冠军一样令人印象深刻,对吧?这在当时对专家来说也是非常令人印象深刻和出乎意料的。

但你谈到了能源使用,对吧?能源和,你知道,当我听到这个时,我读过一些有趣的文章,你知道,预测这些系统的指数级能源使用,你知道,指数级改进等等。我总是告诉人们,伙计们,我自己也是一名工程师。

没有什么东西是指数级的。一切,你知道,事情是指数级的,直到它们不是。所以,我们在今天的咖啡聊天中讨论了这个问题,你知道,人们说它要么是S型曲线,要么是,你知道,要么是一个泡沫,然后它就停止了,对吧?当你考虑能源使用或成本时,

当人们用完钱时,他们就会停止训练昂贵的模型,对吧?事情就是这样,因为我们必须用钱。它不仅用于训练模型,能源也是如此。我预计会发生的事情是,许多模型和算法会变得更高效,对吧?所以不一定是硬件方面,而是在软件方面。

当你认为……我使用人类作为良好的基准,对吧?我的意思是,我们有……

你知道,我们大脑中有很多神经元,我们使用很少的能量来做出相当复杂的决策并学习很多东西。这就是我希望事情发展的地方,也是,你知道,我不确定我们是否会在接下来的48个月或其他时间内实现这一点,但是,你知道,这应该是我们的目标,对吧?我们不能让这些模型变得更大,使用更多的能量,并且只是期望一切都会继续这样下去,对吧?那不是……

那不是……这不太可能。所以另一件事是数据质量。这些模型使用的大量数据质量不高,对吧?而且

也许我们可以构建过滤器,你知道,人们当然已经多次尝试过这种方法,它可以将好坏分开。但这实际上很难做到。我们也为翻译尝试过这种方法。很难做到这一点。所以,我的意思是,总的来说,我希望事情会好转,但不会以改变我们生活的方式发生改变。

你知道,那么多,对吧?将会持续改进,我们会欣然接受。就像我们今天接受语音识别一样,15年前我们还没有语音识别。我们期望翻译能够奏效。我们期望,你知道,图像识别基本上能够奏效,等等,对吧?我们没有所有这些东西。而今天我们认为这是完全正常的。有时我举个例子,比如说你有一个计算器,

一百年前你会告诉别人,你知道,会有这么一台机器。你可以输入一堆数字并相乘,机器会立即给你答案。如果你一百年前告诉我的奶奶,她会说,你知道,这太疯狂了,对吧?今天,这绝对是正常的。我认为这就是我们必须接受的。

特别是年轻人,你知道,我的孩子们在很多技术环境中长大,他们觉得这绝对正常。没有什么特别的。我认为这种情况会持续下去,对吧?我们会接受许多领域的 AI 只是正常现象。我看不到……

我真的看不到,你知道,电影中经常描绘的结果之一是它往往很糟糕,对吧?往往是极端情况。我只是认为不会发生这种情况。这令人鼓舞。迈克,我们的时间不多了,但我不会让你离开,除非你回答我最后一个重要的问题。所以让我们把时间倒回八年,大约八年半,你和一个小型团队,

在 Googleplex,离我现在坐的地方不远,在山景城,取得了突破,即使用神经技术而不是统计技术可以导致机器翻译的改进速度更快。你能带我们回到那些日子和那些早期的谈话吗?当时的顿悟时刻是什么样的?

是的,这是一个有趣的问题。首先,关于历史的一点,因为我在谷歌和科技行业待了这么久,对吧?所以我看到了图像识别、语音识别中发生的事情,游戏稍晚一些,但是……

当时,一些重要的论文发表了,对吧?一些参与撰写这些论文的人就坐在我旁边。你知道,Ilya Suskever 和谁知道什么,所有这些人,对吧?尤其有两篇论文很有趣。一篇是序列模型论文。所有这些人就坐在我旁边。还有一篇注意力论文,不是我们写的,而是来自其他地方,它发表于 2014 年。而且,你知道,有一个……

在一个非常小的数据库上非常简单的原型展示了良好的翻译效果,但也存在很多问题。人们说,哦,这太棒了,其他公司也知道同样的事情。问题是,我们如何在谷歌拥有的数十亿个示例上实现这一点,对吧?这才是真正的挑战。这是……

我们是一个三人团队,对吧,真正专注于此。我们有 100 件要解决的事情,在某种程度上是不可能的,对吧?但最终我们有了在 100 个 GPU 上运行的模型。一次是在 2015 年,对吧?我还记得尝试过,我去找翻译团队。他们对此非常怀疑。我说,请给我们数据。我们想

尝试一下,然后他们来找我,我说,你想用什么数据?我说,给我英法翻译之类的,你知道,一些典型的东西。他说,英法翻译,好吧,我们有一个很好的系统,你永远不会超越它,你知道,所以……

我们尝试了一下,它立即好得多,你知道,我的天哪,这将会很有趣。对。这花了很多时间。而且,你知道,很多人,我们与整个翻译团队合作,大约有 20、30 人,加上 30 人参与生产,最终使它能够支持六种语言,六种语言,六种语言。后来,

与翻译团队一起合作,支持 103 种语言,然后在全球许多数据中心的 20,000 台服务器上运行,对吧?一开始,它真的很慢。它的速度比应该有的速度慢 20 倍。然后我们进行了硬件开发,你知道,我们基本上为此使用了第一批 TPU,实际上它们存在硬件错误之类的问题,我们必须绕过这些问题。那真是一个非常非常有趣的时期,对吧?而且

从事一些在某种程度上没有争议的事情感觉很棒,对吧?所以,我还记得在某个时候,我认为翻译团队做出了决定,在……之后很快就把所有旧的东西换成新的东西,实际上我已经说服团队负责人尝试这个方法,你知道,基本上是在一个……

用我们的工具,他让它为某些模糊的语言对工作。我记得像是盖尔语到英语之类的。然后他相信了,然后事情就开始发展了,对吧?那真是一个有趣的时期。

仅仅想到你和那个小型团队的影响,就让我不寒而栗。好吧,再说一次,我相信许多其他公司在同一时间也在考虑同样的事情,对吧?微软,德国的公司。但同时要做好这么多事情,对吧?另一个例子可能是每个人今天都在谈论的标记。

我们在 2008 年就使用过它们,因为我们编写了一个系统来让它们工作,让日语和韩语真正工作,对吧?因为有很多不同的字母和符号等等,而且它们是混合的。这就是我们第一次使用这些东西的地方。然后,你知道,对于翻译……

我们首先有 160,000 个单词的词汇量,然后我们将其更改为两个标记,因为我们在语音识别中取得了成功,对吧?而且它,再次,它立即改变了整个局面,使训练变得更好、更快。就是这样发生的,对吧?那是一个有趣的时期。令人着迷。

事实是,超过一半的互联网内容是英文的,但说英语的人口远少于世界人口的一半。所以当我提到你和一个小型团队改变了世界时,这并非夸大其词。有一个关于这个故事的精彩重述。你讲得更好,但吉迪恩·刘易斯·克劳斯在 2016 年底在《纽约时报》上发表了一篇文章,对这个故事进行了深入的版本。对。

我记得和他聊了很久,你知道,基本上每周都在聊。他花了很多时间和你和团队在一起。是的,是的,是的。他真的了解你。是的,他花了很多时间和我们在一起。没错。一篇相当不错的文章。是的。但我更喜欢你的版本,迈克。好的。好吧,迈克,感谢你的参与。我真的很喜欢这次谈话。我一直期待着,你没有让我失望。

好的。非常感谢你。很高兴参加你的播客。太棒了。好吧,这就是来自 Two Sigma 的伟大的迈克·舒斯特,前谷歌员工。天哪,这就是我们本周关于人工智能和未来工作的所有时间。一如既往,我是主持人丹·图尔钦,来自 PeopleRain。当然,我们下周将邀请另一位令人着迷的嘉宾。