S7E9 [EN] 科技周会-AI Training, Data, Energy
15:02 Share

嗨，大家好，我是Maggie。我们有一个非常酷的项目想邀请你加入，那就是我们的感恩日记项目。我知道你可能会想，又是日记？等等！无论你是想减压、理清思绪，还是在日常生活中寻找片刻宁静，

这款AI驱动的感恩日记就像拥有一个永远在你身边提醒你美好事物的朋友。如果你喜欢科技，热爱自我提升，或者只是想体验一下AI的魔力，那么你来到正确的地方了。我们现在处于测试阶段，所以你不仅仅是一个用户，你更是一位先锋。你将塑造这个项目的未来，告诉我们什么有效，什么无效，以及你接下来想看到什么。

请发送邮件至[email protected]加入我们，让我们开始这段对话吧。我们迫不及待地欢迎你加入。好了，现在让我们稍微转换一下话题，进入下一个完全面向AI的部分。我觉得我们找到的几个新闻来源，

这些故事实际上是相互关联的。所以我想我们会直接开始聊天，如果我们发现任何值得一提的事情，我们会提到的。所以这里不需要逐一讲解每个故事。我想我们发现的一个共同的有趣话题是未来几年或几十年AI对训练数据和

能源的需求。我知道Tracy，你目前肯定是在这个领域工作的专业人士。那么，你对AI的看法如何，尤其是在输入数据方面？是的，直到我读了《华尔街日报》，我才意识到这个问题。文章说我们正在耗尽训练大型语言模型的数据。

我记得有一个定律可以计算出根据模型大小所需的数据量。几年前，当我们考虑互联网规模的数据时，我们认为那是巨大的。但现在我们将在两三年内耗尽数据。那么，如何在没有数据的情况下开发更好的AI？有什么想法吗？

在没有……哇，想象一下你是一个学生，你没有更多的书可以读了。你怎么才能成为一个更好的学生呢？哦，这是一个非常好的问题。我知道像一些公司一样

他们已经遇到了这个问题。我认为他们开始使用他们的AI模型生成的数据来重新训练他们的模型。但这可能不是一个好的方法，对吧？是的，因为如果模型的输入是其输出，则可能会导致模型崩溃。文章提到几家公司正在尝试改变他们训练AI的方式。

也许你听说过著名的公共数据集Common Core。它涵盖了大多数公共网站，但实际上质量相当低。因此，如果你能够以某种方式只使用高质量的数据，你就可以用更小的数据集达到相同的性能。

而且，还有一种叫做课程学习的方法。想象一下，如果你有一位老师，你设计了一个课程，学生们将更有效地学习。但我认为这种方法的性能提升尚未得到验证。所以它仍然是一个开放式的问题。我认为另一个与之相关的新闻是Scale AI达到了

达到了新的估值高点，现在是130亿美元。Scale AI正试图帮助公司标注数据。他们付钱给人们，也就是真实的人类，来标注数据。但因为他们在第三世界国家雇佣员工，所以成本相当低廉。许多公司都使用他们的服务，甚至包括美国军队，也使用他们的服务。但是

我不确定我们能否通过众包生成更多数据，因为高质量的数据需要高技能的人员。例如，如果你想训练一个AI来编写代码，那么你需要像Stack Overflow这样的数据，那里是一个充满软件工程师的社区。我在想，你认为将来，一些人的工作是为AI创建数据吗？

但不是那些非熟练工人，比如亚马逊的Mechanical Turk，而是受过更多教育的人，比如第三世界国家的大学生，哇，是的，我肯定读过关于这个话题的文章，是的，正如你刚才提到的，我认为我了解到一些国家，我不记得确切是哪些国家，也许像

肯尼亚，至少在非洲的几个国家，他们的官方语言之一是英语，因为你知道没有适应成本，所以那里有很多受过良好教育的年轻人从事商业活动，你知道，特别是为AI公司标注英文书面材料，他们也做一些外包，比如

文件写作工作。我认为在中国，因为你知道中国在监控摄像头和计算机视觉方面领先了一点，所以我认为一个新兴的产业是人们雇佣，我认为很多像家庭主妇，她们并不是受过高等教育，但她们受过足够的教育，至少，你知道，在那些监控摄像头的视频中围绕物体画框，是的，产生一些高质量的数据，因为，你知道，这些实际上我认为对计算机视觉训练很有价值。

是的，但我认为不需要太多教育就能绘制边界框。但要编写软件或编写文档，可能需要更多的教育。是的，我认为数据绝对是这里最紧迫的问题之一。我了解到的另一个问题是，我想在我们转向能源之前，我还想谈谈音乐AI方面的输入数据，你最近听说过Suno AI吗？没有，我没有。告诉我它做什么。是的，suno.ai，那是他们的网站链接。他们是一个音乐生成AI。是的，我实际上刚刚购买了他们的月度会员资格。我认为大约是10美元。非常棒。是的，我可以给你发送一些我生成的音乐作品的链接。基本上你输入

一句提示，它就会生成大约两分钟的音乐片段，无论是否有歌词。对于歌词，你也可以选择让AI自动生成，或者你可以自己输入歌词，让它演唱歌词。

我认为它的质量足以用作YouTube的背景音乐，或者是在购物中心播放的带歌词的歌曲。它绝对通过了及格线。哇，它会补偿这些艺术家吗？

这实际上是我一直在研究的一个大问题。《滚石》杂志，那本音乐娱乐杂志上有一篇文章。他们试图采访创始人，但他们不会透露他们是否实际支付了他们的采样音乐费用。所以我猜答案很可能是没有，或者他们只是在

我想是合法地使用了，但他们应该支付给艺术家更多报酬，是的，他们肯定是在某种程度上剥削艺术家。是的，我觉得他们对艺术家的所作所为让记者大开眼界，是的，但我真的很想尝试一下，因为我不知道如何创作歌曲，拥有一首关于你个人故事、个人回忆的歌曲将会非常特别。

是的，质量非常好。它还支持我认为世界上大多数主要语言，如俄语、英语、中文、日语、韩语，几乎所有主要语言。是的，我想最后一点，最后一个话题，大约花两分钟时间讨论一下，就是训练数据需要大量的能源。

这是我推荐的另一个播客。它叫做BG Squared，我相信。它由两位风险投资家主持。

其中一位非常有名，比如Ben Gurley。我认为他是Uber的主要投资者和培养者。是的，这是一个相当新的播客。他们一直在谈论各种各样的科技话题。我最近发现的一个有趣的点是

他们发现，就能源建设而言，美国可能落后于其他一些主要参与者，比如中国，甚至可能是俄罗斯，因为你肯定需要这些稳定的能源来为所有数据中心提供电力。

是的，我也对我的居住地进行了一些研究。弗吉尼亚州在可再生能源方面，我想，略高于平均水平。他们花了五年时间，我相信，建造了两台风力涡轮机，然后还有另外100多台海上风力涡轮机将陆续建成。所以我想总共将超过2

吉瓦的电力。我还对邻近地区进行了一些研究，比如我认为马里兰州，我认为他们在风力发电方面也领先一些。但我认为对于核电来说，进展肯定很慢。目前，未来几十年内，只有10多座核电站的计划。是的。那么你认为呢？你相信核聚变吗？我认为一些终极投资者已经投资了这个领域的公司。

真正的核能。我知道比尔·盖茨也是核能的另一个大投资者。他实际上被中国工程院选为院士，不是因为他对计算机科学的成就，而是因为他对核工程的成就或他的投资。核能，特别是核聚变，我认为至少还有几十年的时间才能实现。

从技术上讲，我认为太阳能是一种利用太阳核能的好方法，而且成本低廉。所以我认为太阳能可能是未来10年、20年的发展方向。但我知道美国和中国之间现在有一些摩擦，特别是，我认为珍妮特·耶伦，美国财政部长

是的，她一直在指责中国制造廉价的电动汽车和太阳能电池板，是的，最近发生了一个有趣的故事，是的，对于世界来说，更便宜的太阳能电池板更有利于可再生能源的发展，但对于各个国家来说，由于你想保护你自己的公司，是真的，是真的

是的，让我们总结一下整集内容。是的，说到保护，是的，我知道TikTok的首席执行官在过去几个月里一直在接受美国国会的质询。他实际上也是小米的首席财务官。他基本上是新加坡人，他帮助小米和

是的，在他的整个职业生涯中，都致力于IPO，非常了不起的背景故事，但是TikTok要上市吗？这是过去几年来的计划，但现在可能性较小了，让我们拭目以待，是的，这是我们对

3月和4月初科技新闻的主要回顾。是的，我想当我们在5月份再次见面时，我们可能会在某个地方，可能是阳光明媚的地方，我不知道，加利福尼亚州或其他地方。所以我们很高兴到时候再次与我们的观众交谈。所以，感谢所有收听节目的朋友。如果您有任何问题，请随时

给我们写邮件。如果您有任何有趣的故事或问题要分享，我会在我的节目说明中留下我的邮箱地址。就这样。再次感谢我精彩的联合主持人Tracy。谢谢。谢谢，Roger。谢谢。再见，各位。再见。