How open source can democratize AI
38:37 Share

在快速发展的AI领域，开源模型可以进一步加快发展速度，并帮助扩大对所有人的访问。在本期IBM的Smart Talks节目中，Malcolm Gladwell与Red Hat软件工程经理Mo Duffy进行了座谈。他们讨论了InstructLab以及开源技术的优势，例如灵活的部署和增强透明性的能力，以及伙伴关系和合作的力量。Mo解释了社区方法对于开发真正开源的AI至关重要。这是IBM的付费广告。本播客中的对话并不一定代表IBM的立场、战略或观点。请访问https://ibm.com/smarttalks查看更多信息。请访问omnystudio.com/listener了解隐私信息。</context> <raw_text>0 哈喽，哈喽。欢迎收听IBM智慧对话，这是Pushkin Industries、iHeartRadio和IBM联合推出的播客。我是Malcolm Gladwell。

本季，我们将再次深入人工智能的世界，但重点关注开放这一强大概念，包括它的可能性、影响和误解。我们将从多个角度审视开放性，并探讨这一概念如何重塑行业的经营方式以及我们对可能性的认知。

在今天的节目中，我和Red Hat的软件工程经理Mo Duffy进行了座谈，她负责InstructLab项目，该项目由Red Hat和IBM联合开发。Mo向我分享了这项新举措如何彻底改变AI训练，使其不仅更容易获得，而且更具包容性。

这个项目在业界独树一帜，允许开发者向一个基础AI模型提交增量贡献，从而创建一个持续的开发循环，就像普通的开源软件一样。

通过利用社区贡献和IBM尖端的Granite模型，Mo和IBM和Red Hat的团队成员正在为AI开发成为一项集体努力的未来铺平道路。她对开源软件的见解超越了技术熟练程度，延伸到协作努力的深远影响。

Mo工作的核心是相信技术民主化，确保AI成为人人可用的工具。因此，让我们来探讨Mo、Red Hat和IBM如何通过协作和创新来赋能个人和企业，重塑技术的未来。Mo，感谢你今天加入我。非常感谢你邀请我。你拥有几乎最爱尔兰的名字。

是的。我为此感到非常自豪。你并非出生在爱尔兰。是的。我的祖父母。哦，你的祖父母。哦，我明白了。你是在哪里长大的？纽约？皇后区？哦，你是……哦，我明白了。哦，我明白了。

所以，告诉我一些你如何加入Red Hat的故事。你的职业道路是怎样的？当我还在上高中的时候，我是一个话唠的女孩，一个爱打电话的十几岁的女孩。我们只有一条电话线。我哥哥在当地州立大学学习计算机科学，他必须通过telnet来编译他的作业。一条电话线，而我一直在用它。他非常沮丧，他需要一个编译器来完成他的作业。所以他从CompUSA买了Red Hat Linux，带回了家。

那是家里的电脑。所以我学习了Linux，并开始尝试使用它。我真的很喜欢它，因为你可以自定义所有东西，比如整个用户界面。你实际上可以修改你正在使用的程序的代码来做你想做的事情。对我来说，这真的很酷，尤其是在你还是个孩子的时候，人们告诉你事情就是这样，你只能接受它。能够说，“我要按照我想要的方式去做事情”是很好的。修改代码。你在玩。是的。

太棒了。那是一个很棒的时代，在它流行之前，我就已经在做了。而我认为这其中的潜力，首先是像一群人一起工作……

互联网存在。它很慢。它涉及调制解调器。但是有一些你可以交谈的人会给你一些建议，你会分享信息。这种合作，一起构建一些东西，真的是一件特别的事情，对吧？我可以向任何大型软件公司投诉我正在使用的任何软件。或者我可以去一个开源软件社区，说，“嘿，伙计们，我认为我们应该这样做。”我会说，“是的，好的，我会帮忙。我会参与。”所以你不会感到无力。你会觉得你可以产生影响。这对我来说真的很令人兴奋。

然而，开源软件的名声不太好，因为它没有最好的用户界面，没有最好的用户体验。所以我最终学习了计算机科学和电子媒体，双专业，然后我攻读了人机交互硕士学位。我的想法是，如果这个免费软件对任何人都可以访问，如果它更容易使用，更多的人可以使用它并从中受益，那不是很棒吗？所以

所以，长话短说，我最终去了Red Hat，说，“嘿，我想学习你们的工作方式。让我加入你们的团队。”从研究生课程毕业。我说，“我想以此为生。这太酷了。”所以我认为这是正确的方向。从那以后我就一直待在那里。他们还没能摆脱我。稍微回顾一下，你刚才谈到了围绕这种软件思维方式的社区感。多谈谈

那个社区是什么样的，那个社区的好处是什么，为什么它会吸引你。当然。你知道，我最终走上研究生道路的部分原因是，你突然成为了你教授的同龄人，你与他们并肩工作。在某些时候，他们退休了，而你成为了下一代。所以这是信息共享，在某种程度上超越人类寿命的循环中建立在其他人的工作之上。

同样地，开源模型非常相似，但你实际上是在构建一些东西。在我内心深处，我真的很喜欢。我不喜欢谈论事情。我喜欢用开源软件做事。软件不花钱。代码就在那里，通常使用开放标准的文件格式。我今天仍然可以打开我作为高中生在开源工具中创建的文件。是的。

因为他们使用了开放格式，而且该软件仍然存在。我仍然可以编译代码，它是一个活跃的社区项目。这些东西可以比任何一家公司都存在得更久，就像学术界已经持续了这么多年，并且有望继续

继续发展。所以这不仅仅是围绕它的社区，还有知识共享，以及培养下一代。所有这些东西都非常吸引我。而且，最重要的是，我们可以通过遵循这个开源流程来实现民主化，并感觉我们有一定的控制权。我们不会受制于一些不知名的公司做出改变，而我们没有任何影响。这真的也很吸引我。对于我们这些不是软件爱好者的人来说，

退一步，给我一个术语的描述。

开源的反义词是什么？专有的？我们称之为专有的。那么具体来说，实际的区别是什么？开源的东西和专有的东西之间有什么区别？当然。有很多区别。对于开源软件，当你获得软件时，你会获得这些权利。你有权分享它。根据被认为是开源的不同许可证，有一些你必须注意的小细节。对于专有代码，它是……

100% 受公司版权保护。即使很多时候你签署软件公司的雇佣合同，你为他们编写代码，你也不拥有它。你将你的权利转让给公司。所以如果你离开公司，代码不会和你一起走。它仍然属于该公司的所有权。所以当一家公司收购另一家公司并终止某个产品时，该代码就消失了。它消失了。

对于企业来说，为什么企业会想要开源代码而不是专有代码？原因相同。假设你是一家企业。你已经在这个软件平台上投入了所有这些资金。

对。你已经让你的员工掌握了它，它是你的核心业务的一部分。然后几年后，该公司倒闭了，或者发生了某些事情，甚至更不严重的事情。你真的需要这个功能。但是对于制作软件的公司来说，这不是他们的最佳利益。这不值得投资。他们不会去做。你如何获得这个功能？你必须完全迁移到另一个解决方案。而这是你核心业务的一部分。迁移将是一件大事。对。

但如果它是开源的，你可以雇佣一个专家团队，你可以雇佣能够为你做这件事的软件工程师，进入上游软件社区，实现你想要的功能，它将被添加到该软件的下一个版本中。所以即使该公司不想实现该功能，如果他们以开源的方式做了，他们

他们将从我们所说的上游社区继承该功能。所以如果它是开源的，你可以对这种情况进行一些控制。你有机会真正影响产品中的变化，然后你可以选择它，或者付钱给其他人选择它，或者另一家公司可以成立并继续运行它。所以如果它是开源的，就会有更多可能性。这几乎就像一份保险单。所以，从客户的角度来看，创新……

在开源环境中工作时，创新要容易得多。绝对的。是的。现在在Red Hat，你正在从事一个名为InstructLab的项目。告诉我们一些关于它是什么的信息。让我真正兴奋的是参与这个项目，因为AI对我来说一直是一件可怕的事情，因为它就像那些事情一样，为了能够预训练一个模型，

你必须拥有难以获得的GPU。你必须拥有丰富的资源。这需要几个月的时间，需要专业知识。只有少数几家公司能够将模型从预训练状态构建成可用的状态。这让我感觉就像我刚开始接触软件的那些日子。同样地，我认为如果更多的人能够为AI模型做出贡献，

那么它就不会仅仅受到拥有构建它的资源的公司的影响。人们非常重视预训练模型。所以要获取海量的TB级数据集，将它们通过大量的GPU处理数月时间，花费数亿美元来构建一个基础模型。但是InstructLab所做的是说，好的，你有一个基础模型。

我们将在另一端对其进行微调。它需要的计算资源更少。我们构建InstructLab的方式是，你可以在你可以实际购买的现成笔记本电脑上试用这项技术并学习它。通过这种方式，我们使更多的人能够使用AI，为其做出贡献，并对其进行修改。我将告诉你Red Hat的一个故事。我们的首席多元化官Suchi，

对包容性语言和开源软件非常感兴趣。没有任何AI经验。

我们有一个社区模型，我们围绕它有一个上游项目，供人们为模型贡献知识和技能。她说，“我想教模型如何使用包容性语言，比如用这个词替换这个词，或者用这个词替换那个词。”我说，“哦，这太酷了。”所以她与Red Hat的技术人员Nicholas合作，他们为模型构建并提交了一项技能，你可以告诉模型，“请你将这份文档翻译成更包容的语言”，它就会这样做。

他们将其提交给了社区。他们非常自豪。这就像，你知道，也许一家公司会受到激励去做这件事。但是如果你有一些开源的工具，任何人都可以访问，那么这些社区实际上就可以聚集在一起，并将这些知识融入AI模型中。为了让我理解，你们拥有的东西是AI系统的结构。

在其他情况下，各个公司拥有并训练他们自己的AI系统。这需要大量的资源。他们收集各种信息，根据他们自己隐藏的一套规则进行训练，然后客户可能会

以某种价格使用它。你所说的意思是，就像我们之前使软件编写民主化一样，让我们使AI系统的训练民主化。因此，任何人都可以在这里做出贡献，并教模型他们感兴趣的知识。我猜，请纠正我。一方面，至少在开始时，这个模型可用的资源要少得多。但另一方面，它将拥有更多样化的

没错。另一件事是，IBM作为这个项目的一部分，拥有一个名为Granite Model Family的东西，他们捐赠了一些Granite模型。所以这些模型需要数月时间、TB级数据和所有GPU来训练。所以IBM创建了其中一个。

他们列出了并链接了他们使用的dataset。他们谈到了预训练时使用的相对比例。所以它不仅仅是一个黑盒子。你知道数据来自哪里，这是一个相当开放的立场。这就是我们推荐作为基础的。所以你使用InstructLab微调。你使用IBM提供的这个Granite基础模型。你使用Red Hat开发的InstructLab工具。你用它来微调模型，使其成为

你想要的任何东西。我想回到IBM和Red Hat之间的合作，他们为你的Instruct Lab提供Granite模型。这是Red Hat和IBM第一次这样合作吗？

我认为这是一直在进行的事情。例如，Red Hat系列中的另一个产品是OpenShift AI，他们与IBM研究团队进行了大量的合作。BLM是该产品的组件之一，两家公司之间有很好的交流和合作。可能为InstructLab做出贡献的社区规模有多大？

可能有数千人。我的意思是，我们会看到的。这还处于早期阶段。这是IBM Research发明的一项早期技术，他们与Red Hat合作构建了它周围的软件。还有更多工作要做。现在，我们社区中有一个团队正在尝试构建一个Web界面，以便任何人都可以更容易地做出贡献。所以我们有很多这样的用户体验机会。

对于贡献者来说，模型方面的工作仍在进行中，我们仍在积极地构建它。但我对它的愿景甚至是我喜欢回到那种学术模型，从他人的经验中学习，并随着时间的推移不断发展。对我们来说，走出去尝试与各个领域的学者合作将是非常好的。比如，“嘿，你知道，这个模型不知道你的领域。

你想在模型中添加一些关于你领域的内容吗？或者，你知道，与模型交谈。它弄错了。让我们纠正它。我们可以依靠你的专业知识来纠正它，并确保它正确吗？并利用这种社区模型作为每个人合作的一种方式。因为在InstructLab之前，

我的理解是，如果你想使用一个开源许可的模型并尝试使用它，你可以这样做。你可以从Hugging Face获取一个现成的模型，并自己进行微调。但这有点像死胡同，因为你做出了贡献，但其他人无法与你合作。我们构建它的方式是基于技术的工作原理。

每个人都可以为它做出贡献。这是可以随着时间推移不断发展壮大的东西。是的，是的。成为贡献者所需的专业水平是多少？

你不需要成为数据科学家，也不需要拥有奇特的硬件。老实说，如果你甚至没有满足InstructLabs笔记本电脑版本的规格的笔记本电脑硬件，你可以将其提交给社区，然后我们会为你构建它。我们有机器人之类的东西可以做到这一点。我们希望随着时间的推移，通过拥有一个用户界面，然后可能以后再拥有一个Web服务来使其更容易访问。是的。所以举个例子说明企业如何使用InstructLabs。

企业现在正在使用AI做的一件事是使用托管API服务。它们相当昂贵，但它们正在发现价值，但考虑到它们所花的钱，这很难。而且其中一件有点可怕的事情是，你有一些非常敏感的内部文档，你的员工可能不理解他们实际上在做什么。因为，你知道，如果你不够技术娴熟的话，你会怎么做？当你要求这些员工时，

公共Web服务、AI模型、关于复制粘贴内部公司文档的信息。它正在通过互联网进入另一家公司的手中，而该公司可能不应该访问这些信息。所以Red Hat和IBM在这个领域都在关注的是，Instruct Lab模型非常简单。这是一个70亿参数的模型，非常小。在一个70亿参数的模型上进行推理服务非常便宜。

它与托管的万亿参数模型竞争。你使用这个运行推理成本低的模型。你在你公司内部的自己的硬件上用你公司自己的专有数据训练它。你可以对最敏感的数据进行各种实际的数据分析，并确信它没有离开公司。

在这种情况下，你实际上并没有为每个人训练模型。你只是拿来它并在上面做一些私事。没错。这与你正在做的事情不同的交互是分开的。

做出整体贡献。对。这可能是我应该更清楚说明的一点，这里有两个方向。这非常符合Red Hat的经典风格。你拥有你的上游社区方向，你拥有你的面向业务的产品方向。上游社区方向只是使任何人都能够以协作的方式为模型做出贡献并尝试使用它。下游面向业务的产品方向是现在采用我们在开放社区中磨练和开发的技术，并

并将其应用于你的业务知识和技能。这种社区驱动的方法标志着向更易于访问的AI解决方案转变的关键一步。外部托管的AI服务与InstructLab增强的开放模型之间的对比，突出了在不同的业务环境中更广泛采用AI的潜力。

她设想了一个未来，在这个未来中，技术创新将更贴合个别业务的需求，并以开放和安全的原则为指导。让我们做一个假设的案例研究。当然。我是一家律师事务所。我从事娱乐法。我有100个客户，他们都是大明星。他们都有极其复杂的合同。我输入了公司过去10年的一千份合同。

进入模型。然后每次我有一份新合同时，我都会问模型，“我错过了什么吗？你能回顾一下我们所有的旧合同，并向我展示一份缺少关键组成部分或使我们面临某些责任的合同吗？”

在这种情况下，该模型将非常了解我的律师事务所的合同。这就像他们一直在我的律师事务所工作一样。他们不会被其他人的特定风格或来自公用事业行业的许多合同分散注意力，他们了解娱乐法合同。没错。是的。你可以按照你自己的形象、你做事的方式来训练它。这是……

你的公司可以生产的东西对你来说是独一无二的有帮助的。没有第三方可以做到这一点，因为没有第三方了解你如何开展业务，了解你的历史和你的文件。所以这是一种从你已经放在某个文件柜里的东西中获得价值的方式。这非常酷。是的。给我一个现实世界的案例研究，你认为业务用例会非常强大。什么企业

真的可以看到使用InstructLab的优势？我在不同活动中演示过几次的演示使用的是一家虚拟的保险公司。所以你说你拥有这家公司，你必须为各种类型的索赔推荐维修。你已经做了很多年了。你知道如果挡风玻璃坏了，你发生了这种事故，这是一辆什么样的汽车，这些是你想要关注的事情。所以

你可以与现场的任何保险代理人交谈，说，“哦，你知道，这是一辆特斯拉。你可能需要看看电池之类的东西。”他们会有一些潜在的知识，这样你就可以利用它来训练模型。老实说，我认为这些新型技术在不太可见时更好。所以假设你拥有现场的理赔代理人，他们拥有这个工具，他们正在输入理赔数据，他们在汽车现场，并且

它可能会说，“哦，你看，这是一辆福特嘉年华。对于这种类型的意外事故，这些是你想要关注的事情。”当你输入数据时，它可能会浏览你加载到模型中的知识，并根据你公司的背景提出这些建议。而且，“嘿，你知道，让我们不要再犯同样的错误了。让我们犯新的错误，让我们从我们已经做过的事情中学习。”这是一个例子。但是有很多不同的行业和方法可以帮助到这一点，它可以使现场的代理人更高效。是的。

有没有人和你谈论过以一种让你感到惊讶的方式使用InstructLab？我的意思是，有些人做过一些奇怪的事情，但玩技能方面的东西，那就是我看到很多创造力的地方。知识和技能之间的区别在于知识是相当容易理解的，对吧？比如，哦，历史保险索赔或，你知道，法律合同。

技能有点不同。所以每当有人提交一项技能时，它往往会非常有创意，因为它不是什么非常直观的东西。有人提交了一项技能。我不知道它运行得有多好，但它就像制作ASCII艺术一样，比如画一个，我不知道，画一只狗，我会画一只ASCII艺术狗。我的意思是，你可以通过编程来做这些事情。一个实际上非常非常有帮助的是，你知道，取这个数据表并将其转换为这种格式。就像，“哦，这很好。这实际上节省了我的时间。”

我，Malcolm Gladwell，一个技术白痴，离我可以回家轻松与InstructLab互动的那一天还有多远？也许几个月。几个月？我以为你会说几年。不，我认为可能是几个月。

哇。我希望如此。嘿，这是强大的开源创新。是的。哦，这真的很令人感兴趣。是的。我总是感到惊讶。我仍然以20世纪的思维方式来思考事情需要多长时间。就我所知，你已经进入22世纪了。老实说，Instruct Lab的核心发明是在12月的一次AI会议的酒店房间里，与一群优秀的IBM研究人员一起发明的。2023年12月。等等。

倒回去。你必须讲这个故事。我们一直在合作的这群人，他们一起参加了这个会议。这是一个非常有趣的故事，因为你知道，很难获得GPU。即使，你知道，你在IBM，也很难获得访问权限，因为每个人都想获得访问权限。他们在圣诞节假期完成了这项工作，因为当时没有人使用集群。他们进行了所有这些实验。我说，“哦，这真的很酷。”他们的想法是我们可以做一个简化的AI模型实验。

即使在那时，这个想法也是将其与Granite结合起来吗？最初的想法的核心是什么？最初的想法，它有点多方面，有很多方面。所以像其中一个方面，它实际上是在后来出现的，但它从工作流程的开始就开始了，它使用的是分类法。嗯哼。

来组织你如何微调模型。所以旧的方法，他们称之为搅拌机方法。你只需要获取大量大致符合你想要的数据类型的数据，然后将其放入，然后看看会产生什么结果。不喜欢它？好的，再放一些，再试一次，看看会产生什么结果。

他们使用了这种分类法技术。所以你实际上构建了一个分类法，比如类别和子文件夹，比如，这是我们想要训练到模型中的知识和技能。这样，你对添加的内容是有条理的。你也可以很容易地识别差距。哦，我没有这个类别的内容。让我添加它。所以这是发明的一部分。

第一点是让我们在构建和训练这个东西时有目的性和条理性。是的。然后下一个组成部分将是

好的，所以实际上，微调模型和一般训练模型的成本相当高昂的一部分是提出数据，他们想要做的是有一种技术，你可以只使用少量数据，并使用他们称之为合成数据生成的东西来扩展它，这就是你拥有这种学生和教师工作流程的地方，所以你拥有你的分类法，并且

分类法拥有某种知识，比如企业的知识文档、他们的保险索赔。它有你编写的这些测验，这是为了教模型。我正在编写一个基于测验的测验，就像你在学校里做的那样。你阅读了关于美国革命的章节，然后你回答一个10个问题的测验，你正在给模型测验。你需要至少五个问题和答案，答案需要来自文档的上下文。

然后你将其运行通过一个称为合成数据生成的过程。它会查看文档或查看历史章节。它会查看问题和答案。然后它会查看原始文档，并根据你提出的问题和答案的格式提出更多的问题和答案。

所以你可以取五个问题和答案，将它们放大成100个问题和答案，200个问题和答案，这是一个正在提出问题和答案的第二个模型。所以它是使用AI模型进行合成数据生成来提出问题。我们使用开源模型来做到这一点。

所以这是第二部分。然后第三部分是我们有一个多阶段微调技术来实际获取合成数据，然后将其基本烘焙到模型中。所以这大概就是这种方法。这种方法的一般理念是使用Granite，因为我们知道数据来自哪里。另一种方法是我们使用运行推理成本低的模型。它们足够小，你可以在笔记本电脑硬件上对其进行微调。你不需要所有那些花哨的昂贵的GPU狂热。你很好。

在快速发展的人工智能领域，开源模型可以进一步加快进步速度，并帮助扩大对所有人的访问。在本期IBM的Smart Talks中，Malcolm Gladwell与Red Hat软件工程经理Mo Duffy坐下来进行了讨论。他们讨论了InstructLab以及开源技术的优势，例如灵活的部署和增强透明性的能力，以及伙伴关系和合作的力量。Mo解释了基于社区的方法对于开发真正开源的人工智能至关重要。这是IBM的付费广告。本播客中的对话不一定代表IBM的立场、战略或观点。请访问https://ibm.com/smarttalks查看omnystudio.com/listener以获取隐私信息。</context> <raw_text>0 所以有点像一个完整的系统。它不像任何一个组件，但他们采用的方法有点新颖。当他们看到实验结果时，他们非常兴奋。Red Hat和IBM之间举行了一次会议。实际上，这是一个IBM研究会议，Red Hat成员被邀请参加。我认为参与的Red Hat成员看到了潜力。哇，我们可以使模型开源。最终，与其让它们只是这些无休止的死叉，

我们可以让它让人们能够回馈并围绕它进行协作。所以那时Red Hat开始对此感兴趣。我们一起工作。来自IBM研究院的研究工程师提出了这项技术。然后是我的团队，软件工程师知道如何将研究代码产品化，使其成为真正可运行、可支持的软件，我们走到了一起。我们一直在工作。

在Red Hat的波士顿办公室闲逛并构建它。4月18日，我们开源了，并将我们所有的包含所有代码的存储库都公开了。现在，我们正在努力进行产品发布或支持产品。你花了多长时间才相信这个想法的价值？我的意思是，人们聚集在这个酒店房间里。他们在圣诞节期间进行这些实验。你在他们运行实验时是否知道这些实验？

- 不，直到2月份我才发现。- 你在2月份才发现。所以他们在2月份来找你，说：“Mo，你能重现那次谈话吗？”

我们的首席执行官Matt Hicks，以及我们的杰出工程师之一Jeremy Eder和我们的副总裁Steve Watt我认为都出席了那次会议。所以他们把它带回给我们，说，听着，我们邀请了这些IBM研究人员来波士顿参观，你知道，和他们一起工作。看看，这是否有任何价值？我们可以从中构建一些东西吗？所以他们给我们做了一些演示。我们非常兴奋。当他们来找我们时，它只支持Mac笔记本电脑。

当然，你知道，Red Hat，我们是Linux人。所以我们想，好吧，我们必须解决这个问题。所以办公室里的一些初级工程师进来了，他们说，好吧，我们将构建Linux支持。他们在几天内就完成了。这太疯狂了，因为这只是意味着，嘿，伙计们，你们知道吗？这些是被邀请的客人来参观我们的办公室。看看会发生什么。我们最终做了类似的事情，

几周的黑客马拉松和在会议室里吃深夜披萨，以及玩弄它和学习。这非常有趣。这很酷。还有其他人这样做吗？据我了解，还没有其他人这样做。也许其他人会尝试。很多重点都放在预训练阶段。嗯哼。

但对我们来说，再次，微调更容易访问，因为你不需要所有奇特的硬件。不需要几个月。你可以在笔记本电脑上完成。你可以做一个它的冒烟测试版本，并且

不到一个小时。- “冒烟测试”是什么意思？- 冒烟测试意味着你没有对模型进行完整的微调。这是一个不同的调整过程。它有点低质量，所以它可以在较低等级的硬件上运行。所以你可以看到，嗯，它是否移动了模型？但它不会给你完整的画面。你需要高端硬件才能真正完成整件事。所以一旦产品发布，这就是产品将使你能够做到的事情，你需要GPU，但是当你拥有它们时，我们将帮助你充分利用它们。- 是的，是的。

还有一个细节我想回顾一下。当然。为了在很久以前对这个想法进行测试，他们需要GPU上的时间。所以这将是内部IBM，他们在圣诞节很安静。那么你需要多少GPU时间才能获得概念证明？好吧，发生的事情是，它有点像很多反复试验，对吧？关于这些东西有很多事情，比如，

你提出一个假设，你测试它，它成功了吗？好的。就像，你知道，在实验室里，你知道，本生灯和烧杯等等。所以这真的取决于，但这可能需要几个小时。可能需要几天。这真的取决于他们想做什么。然后有时他们可以缩短时间，你知道，根据你拥有的GPU数量。所以我有一个包含8个GPU的集群。好的。可能需要一天，但是如果我能得到32个，我可以将其流水线化并使其运行得更快，并将其缩短到几个小时。所以这真的取决于，你知道，但这就像，

每个人都在家里过节。这是一个很好的游乐场，可以快速完成这些工作。让我们快进一年。告诉我这个项目的现状。告诉我谁在使用它。告诉我它有多大。给我你对一年后InstructLab的样子乐观的但合理的预测。一年后，我希望看到一个围绕这项技术的充满活力的社区。

不仅将知识和技能融入模型，而且提出关于我们如何做到这一点的更好技术和创新。所以我想看到随着我们越来越多的贡献者，贡献者的体验得到改进。所以一年后，Malcolm Gladwell可以将他的部分智慧传授给模型，这不会很困难。这不会是一个很大的提升。我希望看到用于执行此操作的用户界面工具更加复杂。我希望看到更多的人

采用它，甚至使用它，也许你没有与社区分享它，但你正在将其用于某些私人用途。我给你举个例子。我正在与一位从事人工智能研究的人联系，他正在与医生合作。他们是加拿大一个地区的全科医生，那里的全科医生数量不足以满足患者数量。所以，你知道，任何可以

节省医生时间以去看下一位患者的事情。他一直在进行实验的事情之一是，我们能否使用医生可以在他们的笔记本电脑上运行的开源许可模型，这样他们就不必担心所有不同的隐私规则，例如它是私有的，就在那里的笔记本电脑上。

获取他与患者交谈的实时转录，然后将其自动转换为可以输入数据库的SOAP格式。通常，这将花费医生15到20分钟的文书工作。为什么不为他节省文书工作呢？至少让模型尝试一下。那么模型是否会保留这些信息，当他再次与模型互动时……好吧，问题就在这里。不在Struck Lab内。也许这可能是未来的发展。一旦你进行推理……

它不会将你对它所说的话再吸收进去。这只是微调阶段。所以想法是医生可以加载过去的患者数据作为知识，然后当他试图诊断时，也许，你知道我的意思吗？但主要的想法是有人可能有一些私人用途。我希望看到……

更多地使用此工具来帮助那些原本无法访问此类技术的人，例如，你知道，一个小国家的全科医生，他们没有GPU。他们不会雇佣一些公司为他们定制构建模型，但也许在周末，如果他是一个技术人员，他可以玩弄它。好吧，我的意思是，你说得越多，我越意识到这个模型的简单性就是杀手级应用程序。

一旦你知道你可以在笔记本电脑上运行它，你就以一种与其他一些更复杂的模型无法想象的方式实现了民主化使用。但这很有趣，因为人们会直觉地认为，一开始获胜者将是拥有最大、最复杂版本的人。而你却说，不，实际上有一系列用途，其中精简和

专注。专注。实际上，你知道，它使一整类用途成为可能。也许另一种说法是，谁不会成为潜在的InstructLab客户？我们还不知道。它太新了。就像，我们还没有足够的人来实验和玩弄它并找出所有事情。但这就是它如此令人兴奋的地方。就像，我迫不及待地想看看人们会做什么。这是你职业生涯中从事的最令人兴奋的事情吗？我认为是的。我认为是的。是的。是的。

好吧，我们的时间快到了。但在我们结束之前，我们可以进行一个小速答环节。当然。好的。完成以下句子。五年后，人工智能将……变得无聊。它将被集成。它只会工作。现在不会有关于人工智能的事情了。它只会很正常。它将……

人们对人工智能最误解的一件事是什么？它只是矩阵代数。只是数字。它不是有感知能力的。它不会来征服我们。它只是数字。你在……人类团队这边。是的，你在人类团队这边。很好。

10年前你会给自己什么建议来更好地为今天做准备？认真学习Python。这是一种在社区中广泛使用的编程语言。我一直都在涉猎它，但我希望我更认真地对待它。是的。你有没有说你有一个女儿？我有三个女儿。你有三个女儿？我有两个。如果你有三个，你就自己一个人了。你让他们学习Python吗？不。

我实际上正在尝试这样做。我们正在使用micro:bit微控制器工具来制作自定义视频游戏控制器。他们更喜欢Scratch，因为它是一种可视化编程语言，但它也有一个Python接口，我正在推动他们转向Python。聊天框和图像生成器是目前消费者人工智能中最大的事情。你认为下一个大型商业应用是什么？

私有模型，小型模型，针对你的公司数据进行微调，供你独家使用。

你最近在个人生活中使用人工智能吗？老实说，我认为我们很多人都在使用它，而我们甚至没有意识到。是的。我的意思是，我是一个外语爱好者。有一些翻译程序是在下面使用机器学习构建的。我最近一直在尝试使用文本摘要，因为我倾向于在我的笔记中非常冗长，这对只想看一段话的其他人来说并不是很有用。所以这是我自己一直在尝试的事情，只是为了帮助我的日常工作。是的。

我们听到许多关于与技术相关的开放的定义。你对开放的定义是什么，它如何帮助你创新？我对开放的定义基本上是分享。

并且脆弱，不仅仅是以“请吃饼干”的方式分享，而是在，你知道吗，我实际上不知道这是如何工作的。你能帮我吗？并且对错误持开放态度，对某人帮助你并使这种合作发挥作用持开放态度。所以这不仅仅是关于你正在打开的工件。这是你的方法，就像你如何以开放的方式做事。是的，是的。

好吧，我认为这就结束了。听众如何关注你的工作并了解更多关于Granite和InstructLab的信息？当然。你可以访问我们的项目网页instructlab.ai，或者你可以访问我们的GitHub github.com/instructlab。我们有很多关于如何参与InstructLab的说明。太棒了。非常感谢你。谢谢。不客气。非常感谢Mo就InstructLab突破性的可能性进行了引人入胜的讨论。谢谢。

我们探讨了这个平台如何通过使用开源社区方法来彻底改变从保险到娱乐法等行业，这使得来自所有背景的更多人更容易为特定目的微调模型，最终使人工智能比以往任何时候都更容易获得和更有影响力。

展望未来，人工智能的未来不仅仅是技术效率。它关乎以以前从未可能的方式增强我们的日常生活体验。例如，简化医生的工作以改善患者体验，或协助保险代理商以改善索赔体验。InstructLab正在为更开放、更容易获得的人工智能未来铺平道路，这是一个建立在合作和人性基础上的未来。

IBM的Smart Talks由Matt Romano、Joey Fishground和Jacob Goldstein制作。我们由Lydia Jean Cott编辑。我们的工程师是Sarah Bruguere和Ben Tolliday。主题曲由Gramascope创作。

特别感谢8 Bar和IBM团队，以及Pushkin营销团队。IBM的Smart Talks是Pushkin Industries和iHeartMedia的Ruby Studio制作的。要查找更多Pushkin播客，请在iHeartRadio应用程序、Apple Podcasts或你收听播客的任何地方收听。

我是Malcolm Gladwell。这是IBM的付费广告。本播客中的对话不一定代表IBM的立场、战略或观点。♪