Federated learning in production (part 2)
45:25 Share

Flower Labs 的 Chong Shen 加入我们，讨论构建可在数据孤岛之间工作的、可用于生产环境的联邦学习系统真正需要什么。我们讨论了 Flower 框架及其架构（超级节点、超级链接等），以及是什么让它既“友好”又适用于真正的企业环境。我们还探讨了生成式 AI 的蓬勃发展如何重塑 Flower 的路线图。 参与者： Chong Shen Ng – 领英 Chris Benson – 网站、GitHub、领英、X Daniel Whitenack – 网站、GitHub、X 链接： AI 训练的未来是联邦学习 DeepLearning.ai 关于使用 Flower 进行联邦学习的短期课程 Flower 每月 汽车领域的联邦学习 金融领域的联邦 AI 医疗保健领域的联邦学习 物联网系统中的联邦 AI FlowerTune LLM 排行榜 Flower Intelligence GitHub Slack Flower Discuss 赞助商： NordLayer 是为现代企业构建的、可随时切换的网络安全解决方案，它在一个平台中结合了 VPN、访问控制和威胁防护功能，无需任何硬件即可在 10 分钟内部署。它基于零信任架构，具有细粒度的访问控制，因此只有合适的人员才能访问合适的资源，并且随着团队的壮大，它可以轻松扩展。使用代码 practically-10 在 nordlayer.com/practicalai 获取高达 32% 的年度计划折扣 - 包括 14 天退款保证。</context> <raw_text>0 欢迎收听 Practical AI，这是一档让所有人都能轻松、高效地使用人工智能的播客。如果您喜欢这个节目，您一定会喜欢 The Change Log。它在周一发布新闻，周三进行深入的技术访谈，周五则是一档精彩的脱口秀节目，适合您周末欣赏。您可以在收听播客的任何地方搜索 The Change Log 来找到我们。

感谢我们的合作伙伴 Fly.io。在五分钟或更短的时间内启动您的 AI 应用。请访问 Fly.io 了解详情。♪

欢迎收听 Practical AI 播客的另一期节目。我是 Daniel Whitenack，PredictionGuard 的首席执行官，一如既往地与我的联合主持人 Chris Benson 共同主持，他是洛克希德·马丁公司首席 AI 研究工程师。Chris，你好吗？

今天过得很好，Daniel。佐治亚州亚特兰大今天是个美丽的春日。我不得不说，鲜花盛开了。这是一个很好的谈话日子。它们可能分布在各个草坪上。到处都是。甚至是联邦化的。是的，是的。好吧，Chris，这让我想起了上周，

上周，我们对联邦学习进行了第一部分介绍，并与英特尔的 Patrick 详细讨论了一些相关细节。他最近提到他参加了 Flower Labs 会议和围绕联邦学习的 Flower 框架。他提到了很多次。好吧，

我们很荣幸能够继续进行关于联邦学习的对话，进入该主题的第二部分，因为我们有 Chong Shen 加入我们，他是 Flower Labs 的研究工程师。欢迎，Chong。你好吗？

你好，我很好。感谢你们的邀请。是的，是的。实际上，我们在节目开始前就聊过。这是我们第二次在播客中讨论 Flower，第一次是在 2021 年。所以，即使在 ChatGPT 发明人工智能之前，显然我们也在讨论人工智能，其中一个

是与 Flower 的 Daniel 聊的。那是第 160 集，标题是《友好的联邦学习》。我花了点时间才说出这个标题，但我相信在那段时间里，很多事情都发生了变化、更新和进步，当然。也许为了开始，Chong，你能给我们一些关于

你的背景以及你如何被介绍到联邦学习这个想法，并最终开始工作，与 Flower 合作？是的，

是的，当然。再次感谢你们的邀请。我的背景是计算物理学。所以我花了许多年时间从事计算物理学领域的研究，包括我的博士学位和博士后研究。所以我做了很多关于超级组件集群上的并行计算的工作。

我也对机器学习和深度学习普遍很感兴趣。所以当我从学术界转向所谓的行业时，就有了这个分布式学习的空间。那是 2021 年。所以当我那时开始我的职业生涯时，它开始是一种

数据科学咨询业务，但专门从事联邦学习。我看到了许多项目，这些项目非常有兴趣采用联邦学习或这种分布式学习方法来解决他们的一些特定问题。但我同时也接触到了 Flower 框架，开源开发是我的一个重要爱好。

因此，能够开发一个在非常宽松的许可证下有效使用的框架，我认为这是一件非常酷的事情。这就是为什么我决定加入 Flower Labs 并成为该框架本身的核心贡献者。

是的。是的。而且我，我觉得，呃，呃，已经，已经与你联系上了，因为，呃，我的背景也在，也在物理学方面。在节目中总是有其他物理学家，他们以某种方式迁移到了，迁移到了 AI 世界。我想知道在这个转变中，比如，

你提到了这种从学术界到行业的转变。你甚至开始从事联邦学习方面的咨询工作。联邦化或分布式计算的想法，或者你如何看待它，这是你……

在学术界所做的工作中的一个关键部分吗？还是其他什么东西激发了，激发了你在进入，引用你所说的“行业”时真正深入研究的愿望？

是的，令人惊讶的是，这不是我在学术界遇到的东西。但不知何故，当我进入数据科学领域时，我遇到了正在研究它的人。这成为了一种方法，那时我们采用这种方法来尝试解决一些问题。所以我们看到，你知道，联邦学习可能是一种解决它的方法。然后它非常巧合。好的，它是分布式学习，它是分布式计算。所以它与我产生了非常强烈的共鸣。

是的。这与处理敏感数据或受监管行业有关吗？或者在那些，你知道，咨询项目中，或者，你知道，只是，是的，对这种进展感兴趣？是的，实际上，我认为有两大类。一类是数据极其敏感且可操作的。

我们通常将它们称为真正孤立的数据，绝对不应该离开其生成位置的数据。然后是第二组或第二类群，即数据源非常庞大的问题，数据生成的点

每天每秒都会生成如此多的数据，以至于他们无法对这种原始数据进行任何有用或有意义的分析，并且您必须进行大量下采样

因此，他们试图将竞争推向边缘，并试图看看他们是否可以在这种大量生成的数据上应用某种机器学习方法或深度学习方法，而无需对其进行下采样。这说得通。是的，我想我还应该明确提到，在与 Patrick 进行的这个两部分系列的第一部分中，Patrick 对联邦学习的概念进行了

详细的介绍。我们对此进行了详细的讨论。因此，如果人们想回顾上一集并收听，这可能会提供一些背景信息。但这可能值得给你的听众

大约 30 秒或几分钟的联邦学习概述，以及你如何在高层次上描述它，然后我们也许可以跳到其他一些事情。当然，当然。最简单的理解方法是查看你的经典机器学习方法，对吧？传统上，你需要将所有数据带到一个位置，例如数据库或磁盘上，然后你就可以在这个数据上训练你的模型。

但有时将所有数据带到一个位置并非易事。

仅仅是因为移动数据涉及隐私问题，还有一些围绕它的地缘政治考虑，以及生成的数据量。因此，与其将所有数据带到一个地方并在其上训练机器学习模型，不如将机器学习模型移动到数据生成的地方，然后在这些来源处训练这些本地机器学习模型。

然后，与其移动数据，不如将模型权重移动到中央服务器，这要小得多。然后，您可以聚合模型权重以从这些各种数据源中学习。

然后，随着时间的推移，当你重复很多很多轮这样的操作后，你最终会得到一个全局聚合的模型，它已经从这些各种数据源中学习，而无需跨数据源移动数据。这就是联邦学习的本质。我很好奇，当你们在框架上工作并且有新的用户进入时，通常会提示……

从你的角度来看，典型的用户转向联邦学习？在他们真正完全理解它并理解其好处并被说服之前，根据你的经验，通常是什么动力促使他们进入这种思维方式并推动他们朝这个方向发展？是什么导致了他们思维方式的改变？他们会说，我绝对需要进入联邦学习并使用 Flower？是的。

是的，当然。我认为根据我的经验，最大的驱动力是当他们意识到他们无法移动他们的数据时，对吧？但是当他们与所有相关方交谈时，他们会说，哦，我有这个数据集。哦，你有这个数据集，但我真的不想分享它们。然后，好吧，这就是，你知道，联邦学习或 FL 出现并决定，好吧，我们真的需要这样做。这是其中一个方面。另一个方面是当一家大公司拥有，你知道，

让我们假设许多，许多数据源。他们说，好吧，协调所有数据库以使我们能够以一种连贯的方式训练机器学习模型非常困难。这也是您可以，当您尝试寻找所有分布式机器学习系统时，您会意识到，哦，它们非常不同。所以这两个，所以这两个向量驱动了典型的用例。

我很好奇，如果我可以继续这个话题，因为我个人很好奇。我碰巧为这些拥有大量不同位置数据的公司之一工作。除此之外，我们在之前的——上周我们谈话时，我们也谈到了隐私问题。我很好奇你对此的看法。像在我们这里，我们不是唯一一个。

很多数据都存储在不同级别的安全性和隐私级别。如果有的话，有不同的飞地，你试图在那里做到这一点。当您拥有不同的程序时，联邦学习的挑战如何加剧？

你知道，围绕你试图通过联邦学习整合的不同数据飞地的不同安全问题？当人们认为所有不同位置的分布式数据都是相等的时候，如何才能做到这一点，当你处理不同的安全问题时，你有什么方法开始考虑这个问题吗？因为当我作为一个新手进入这个领域时，这对我来说似乎是一个相当大的挑战。你对如何思考这个问题有什么建议或指导吗？

是的，是的。我认为根据我的经验，解决方案的复杂性随着所涉及的数据利益相关者数量而变化。当你提到不同级别的飞地时，对我来说，这表明有很多数据所有者以不同的方式管理他们的数据。

因此，解决这个问题的关键是首先协调数据标准，以便能够进入联邦。

然后从那时起，实现就变得容易得多。我认为这是我看到的一个关键点。我们已经谈到了你的背景，对联邦学习的介绍，以及一些动机。在我们具体讨论 Flower 以及一些生产使用问题之前，

你知道，从你作为某种中心人物的角度来看，你知道，你在联邦学习的生态系统中处于一个中心位置，我想。在，你知道，非常诚实的情况下，因为我们在 2021 年有那一集，你知道，

从 2021 年到现在，联邦学习在行业的采用现状与之前相比有何不同？作为一种生态系统，它是如何发展或成熟的？是的，这是一个非常好的问题。

如果我要给它一个数字，这完全是任意的，我认为与 2021 年 Flower 框架存在时相比，现在有 100 倍的差异。其中一个关键因素

遗传力使用的变化是训练基础模型和大型语言模型的能力。这是一个重大的变化和驱动力。以前，当我们谈到使用 Flower 框架时，你可能局限于按今天的标准来说不算很大的模型，只有数百万个模型参数的小模型。

但是现在，当我们谈到使用文本数据、图像数据来训练这些基础模型时，你考虑的是数亿个参数的模型。在我们框架的架构中也发生了根本性的变化。

并且还提高了流式传输大型模型权重的能力。所有这些事情现在都在发生，并且有一些令人兴奋的新进展。希望我们几周后就能发布新版本。对于用户来说，用法是相同的。没有什么变化。但是解锁的是能够

训练非常大的模型。所有这些都真正增加了使用联邦学习或 Flower 框架来处理更多样化的用例的吸引力。

你知道好的代码有什么好处吗？它就是能用。没有麻烦，没有凌晨 2 点的 5 小时调试会话。这正是 NordLayer 为企业安全带来的东西。当您忙于发布功能和修复错误时，NordLayer 会在后台处理您的网络安全。这就像拥有一个从不睡觉、从不休假且从不意外删除生产数据库的高级 DevOps 工程师。零信任架构？已检查。

谢谢。

显然，“在我的机器上能用”对于审计员来说是不够的。好消息是，我们的朋友可以获得高达 22% 的计划折扣，外加使用代码 practically-10 额外获得 10%。那是 practically-10。这比你每月的 GitHub copilot 订阅便宜，但在安全团队上门检查时，它更有用。请访问 NordLayer.com/practicalAI 查看详情。再次强调，NordLayer.com/practicalAI。

Chong，当我们深入到节目中时，我们已经开始多次提到 FLOWER 了，但我们实际上并没有真正详细地描述 FLOWER 作为框架是什么以及它带来了什么等等。你能告诉我们一些关于这方面的信息吗？

你能花点时间，我们可能应该早点做这件事，但也许可以准确地表达 FLOWER 是什么，它的组件是什么，以及它如何帮助用户开始将他们的数据联邦化，就他们的工作流程而言。你能谈谈它的基础知识吗？是的，当然。Flower 框架是我们的旗舰平台

基于 Apache 2.0 许可证的开源代码。这个框架允许用户，任何数据从业者，构建联邦学习解决方案。因此，使用该框架意味着他们能够，我想用代码术语来说，安装 Flower 的基本 Python 发行版，并构建

不同的应用程序，允许您构建基本的童话故事架构。这意味着能够启动

你的服务器，它聚合模型参数，并编写代码来在客户端上进行训练。我们在框架中提供的结构允许用户遵循相同可重复的方式来执行他们的认证学习。所以我想从本质上来说，这就是它。我还想说，对我个人来说，Flower 的吸引力之一，

是我们非常重视用户体验，这就是为什么我们总是说，Flow 是友好的联邦学习框架。我们希望，我们优先考虑

所有用户的体验。我们在 Slack 上支持他们。我们还有一个名为 Flower Discuss 的讨论频道，我们积极回答用户提出的任何问题。我们还有一个很棒的社区，他们为核心框架贡献了很多代码改进。所以我们是完全开放的。我们以透明的方式构建，并对我们提交的每一行代码负责。

你知道，达到最高标准。是的。而且我，我个人可以作证。我们，我们在 PredictionGuard，我们与普渡大学的学生合作过一段时间。他们有像顶点项目这样的项目。我们在同一个城镇。所以我们与，与一些学生合作是很自然的。我们已经做过几次了。而我们所拥有的那些学生群体之一是，

我相信是去年，实际上做了一个与联邦学习和训练语言模型、翻译模型以及尝试各种事情相关的顶点项目。他们评估了一堆不同的东西，但我认为最终使用了 Flower，原因是你提到的那些。所以他们是联邦学习领域的初学者。毫无疑问，非常聪明的学生。

但他们，但他们确实倾向于使用 Flower 的用户体验，因为，你知道，他们用 Python 编程，它对他们来说很自然。所以，是的，我相信这是你可能从其他人那里听到的常见体验，这种自然的 Pythonic 方法来处理这些主题。

是的，是的，我们确实如此。绝对的。我很高兴你分享了这段经历。听到社区的反馈总是好的。但是是的，Python 成为……

现在机器学习模型和深度学习模型背后的主要语言。因此，提供 Python SDK 是一种非常自然的方式。我们从第一天起就支持它，并且我们将在很长一段时间内继续支持它。我很好奇，将这一点扩展到语言之外。我喜欢“友好语言”的概念。“友好”这个词在……

用户体验方面吸引了我。你能更多地谈谈围绕“友好”的品牌定位以及从用户体验的角度来看这意味着什么吗？你知道，还有哪些其他方面使它变得友好？有很多东西并不友好，这绝对……

这绝对引起了我的注意。是的，当然。我认为最好解释的是，在过去的 10 个版本中，我们极大地提高了框架的友好性。希望，我希望这是人们从中学到的经验。要点是减少任何想要使用我们框架的开发人员的认知负担。

所以我会举一个具体的例子。我们在几个版本之前引入了 Flower CLI，我认为可能是去年年底。这样做的好处是，使用简单的 FLWR space new 命令，N-E-W，你

用户能够通过命令行导航这些选项，并立即拥有一个可用于联邦学习的模板项目。它开箱即用。在 Flower Neo 之后，用户只需按照步骤操作，然后执行 fwwr space run 命令，

它开箱即用。我们有用户开始使用所需的核心模板。我们有 PyTorch、TensorFlow，典型的那些，以及更奇特的那些。你有 JAX，那些想要的人也可以使用 NumPy。所有这些都为用户提供了入门所需的样板代码，它减少了大量的启动时间。然后，一旦用户构建了所有应用程序，用户还可以……

真正监控他们的运行。我们还引入了像 fwwr space ls 这样的命令。它就像你终端中的 ls 一样，只是为了查看当前正在运行哪些运行，哪些 Flower 运行正在运行。以及其他一些命令，例如 fwwr space log，用于查看代码的日志。所有这些非常简单的 CLI 工具确实可以帮助用户理解

更轻松地导航和使用正在运行的代码。以前，我想说，2021 年、2022 年、2022 年初，Flower 框架处于不同的位置。它的工作方式？

那时，它仍然很友好。但是用户启动联邦的方式是启动三个 Python 脚本。如果您想扩展或投入生产，这并不直观或自然。

因此，随着 Flower CLI 的引入以及驱动联邦的不同部署架构方式，它确实使用户更容易开始构建和部署代码。好吧，你有点像是在进入我下一个问题。你提到了将事情投入生产。所以有些人可能会听到，

友好的框架，这是一件好事，正如 Chris 提到的那样，但他们可能会将其与，你知道，

原型设计和学习以及诸如此类的事情联系起来，而不是与生产使用联系起来。所以我很想让你帮助我们理解，如果我使用 Flower 实现联邦学习系统，那么生产联邦学习系统是什么样的？我相信有很多种

你知道，它可能表现的方式。但你肯定见过很多用例。也许你可以为我们重点介绍一些例子。生产联邦学习系统是什么样的？从这种“可能有效”的玩具原型到全面生产部署，您需要考虑哪些因素？

是的，当然。我认为这是公平性方面与转向生产之间的一个很好的过渡，因为我还想在这里提到的是

我介绍了一个非常简化的工作流程，说明用户如何构建 FL 解决方案。使用 Flower 框架，您可以构建和编写应用程序，这些应用程序是您用于聚合、服务器聚合以及实际在数据源处训练模型的客户端所需的应用程序。在第一次迭代中，用户可能会实际

实际上在所谓的模拟运行时中运行它。因此，无需担心实际的数据源或解决数据工程方面的问题，您可以使用从 Hugging Phase 获得的数据集（例如）或您可以人为创建的数据集（仅用于测试目的）来测试基本架构的实现。

使用您用于训练模型和客户端以及进行聚合的相同代码，您可以将代码指向不同的运行时，然后在所谓的部署运行时中执行它。这使我们更接近生产。

因此，一旦您有了这种执行模式，客户端将被连接到数据源，然后您可以开始训练您的实际联邦模型。那么部署需要什么

首先，我喜欢使用 TinyML 社区的一个不错的首字母缩写词。它是 Blurb。我不确定你以前是否遇到过。你以前遇到过吗？是的。但请继续解释。是的。TinyML 社区谈论的是带宽、延迟、效率、可靠性和隐私，如果我没有记错的话。我可能对最后一个记错了。但是 Blurb。

在生产级系统中，您真正想要的是已部署解决方案的可靠性来完成计算。它不必是联邦学习，而是通常的系统。使用当前版本的 Flower 框架，我们已经分离了所谓的应用程序层，用户将在其中构建应用程序，这些是用户将修改的应用程序。

然后我们还有基础设施层，它支撑着这个系统。此基础设施层负责接收来自用户的 Flower 命令，然后将所有必要的代码分发给客户端以实际执行训练。

因此，用 Flower 的术语来说，你会遇到它，但我们称之为超级链接来实际托管服务器。超级节点是长期运行的服务，它们基本上协调客户端的

因此，这两个组件是长期运行的。因此，由于这两个组件是长期运行的，用户可以运行多个并跨其他系统执行多个联邦，而无需担心任何这些组件出现故障。这就是可靠性发挥作用的地方。

因为连接也已建立，我们还处理带宽和连接。因此，我们试图减少超级节点和超级链接之间的延迟。因此，基础设施是一次性部署的，并且将在项目生命周期内持续存在。

这使得用户更容易继续使用生产网格系统。它始终在那里等待您。任何时候用户想要进入并执行运行并查看结果，它都始终存在，而无需担心任何组件出现故障并停止运行。

Chris 和我非常高兴您每周都加入我们，聆听来自优秀嘉宾的精彩发言，并聆听我们自己对 AI 世界中正在发生的事情的一些想法。但是事情发展得如此之快，我们认识到并希望看到你们所有人参与围绕这些主题的讨论。

这就是为什么我很高兴分享我们将开始在我们的网站上发布一些网络研讨会活动，您可以在那里虚拟加入，实际参与，提出问题，参与讨论，并真正深入探讨与各个垂直领域、技术、工具或模型相关的各种主题。

即将举行的第一个或下一个网络研讨会将于 6 月 11 日上午 11 点（东部时间）举行。它将通过 Zoom 虚拟举行，您可以在 practicalai.fm/webinars 找到相关信息。

这将是一场关于本地和隔离式 AI 的讨论，特别是它与制造业和先进物流的关系。我个人已经看到，当我们与该领域的客户合作时，这种技术的变革力量

从监控机器生成的事件到提供供应链建议等等。但是，在这些隔离式或本地环境中部署这项技术存在很多困难。所以这就是

我们将在 6 月 11 日讨论的内容。我真的很希望你们都能参加这次讨论。再次强调，6 月 11 日，上午 11 点（东部时间）。它将通过 Zoom 虚拟举行，您可以在 practicalai.fm/webinars 找到更多信息。

Chong，我喜欢这种超级节点和超级链接的概念。我的想法是，我正在努力在我的脑海中弄清楚，如果我是，你知道，让我们假设我在医疗保健领域工作，我的某种

节点可能是网络中的不同医院或不同设施等等。我有一个中心位置，我的超级链接在那里，我正在进行聚合。正如 Chris 之前提到的那样，从实际的角度来看，您有这些不同的设施，您可能有不同的利益相关者，拥有不同的数据。作为……

让我们假设我是负责运行实验、训练模型的人。我需要在设置方面做些什么才能连接到？

这些超级节点或客户端所在的位置，那里需要存在什么？我如何注册它们以及设置过程，以便在我能够，就像你说的那样，从用户的角度来看，运行实验或执行运行、训练运行等等之前。

当然。有很多方法可以做到这一点，但我认为最清晰的方法是考虑两组角色。一类是管理角色，他们负责在这些，比如说，医疗机构、医疗中心部署超级节点。

他们负责确保正确的用户注册到超级链接或联邦，并协调任何监控，基本上监控超级链接本身的使用情况。这就是管理角色。然后是用户角色或数据从业者，数据科学家将编写他们的应用程序、他们的服务器应用程序和他们的客户端应用程序

然后在管理员已部署的超级链接或联邦上运行这些应用程序。我认为这种清晰的区别将是一种思考它的简单方法。因此，首先，管理员将

假设有五家医院想要组建一个联邦，管理员可以进入并使用模板部署超级节点。例如，如果使用 Kubernetes 或 Docker 容器，您可以使用 Helm 图表在所有这五家医院中部署超级节点。

超级链接可以由受信任的第三方服务器托管，也可以由 Flower Labs 托管，例如，Flower Labs 可以为您托管超级链接，因为它只是一个简单的服务。然后用户将注册或进行身份验证

在超级链接上。因此，他们需要同时进行身份验证并具有在超级链接上运行流程命令的授权。这样，您就可以在跨筒仓设置中启动并运行生产系统。- 我很好奇，当我们讨论这个问题时，我从您的描述中学到了很多东西，您已经提到了管理角色、客户端和服务器应用程序以及超级链接和超级节点等。

这在联邦的背景下，涉及网络等方面。所以我想问一个关于这方面的一般性问题，那就是，

用户是否有任何一组知识或技能可以提升或需要了解才能有效地使用 Flower？例如，他们可能来自更多的数据科学或深度学习角色。

也许他们没有做过很多网络方面的工作。您是否建议他们需要掌握哪些技能才能最有效地使用 Flower？在这种情况下，对用户的期望是什么？是的，这是一个好问题。实际上，这也是一个公平的问题。在我看来，我们试图传达的是

用户根本不需要考虑它的通信方面。所有这些都由基础设施处理。当然，如果用户开始变得更多

开始遇到联邦学习解决方案变得更复杂并经历非常特殊的情况时。这就是对通信协议以及如何设置这些协议的一些理解

这也有帮助。我认为对于那些更多地参与管理角色并希望部署超级节点或使用基础设施（基本上是超级链接和超级节点）的用户来说，存在基础设施/DevOps 的问题。您必须对在容器中部署或使用 pod 等方面有一定的了解。

但从根本上说，当您第一次开始使用该框架时，您可以从一个普通的生产系统开始，而无需过多地担心通信或需要过多地了解它。然后，随着您对它的了解越来越多，您可以沿途学习更多知识。嗯，这种思路，加上您之前关于如何……

大型语言模型、生成式模型如何突破了您来回通信数据、权重以及如何使用 Flower 的最新版本处理更大模型的界限，您将在几周后发布新版本，甚至更多。我通常想知道这在一定程度上是如何发生的，当然，生成式 AI 的这种繁荣可能影响了您的

您知道，路线图以及您对事物的思考方式，人们希望用 Flower 做什么。我想象一下，这可能会以各种方式影响 Flower。当您谈到这一点时，我甚至在想，哇，如果有一个，

你知道，MCP 服务器或其他什么东西，或者，你知道，在 Flower 之上的助手，我可以，你知道，用自然语言输入。而且，你知道，这将是一个友好的，友好的界面来设置我的实验等等。所以，是的，我的意思是，作为一个，作为核心人员之一，

您是如何看待这种对生成式 AI 的兴趣激增影响 Flower 的路线图以及您在 Flower 上的想法，您对框架未来的设想等等？当您提到模型上下文协议在一个小的 Mac 阶段时，最近团队内部也确实进行了一些有趣的讨论。

关于生成模型或大型语言模型/多模态模型的影响。这已经成为 Flower 框架的驱动力之一。我们真的相信

这些最先进的 LLM，正如我们所说，它们正在耗尽训练数据。去年 12 月，OpenAI 的联合创始人 Ilya 说数据正在耗尽。不，训练这些 LLM 的数据已经用完了。

是的，这正是我们也感受到的情绪。这只是冰山一角。大量数据被锁定在筒仓中，可以通过对大型语言模型进行预训练或微调来从中受益，以便使其有用，使其变得有用。实现这一目标的方法是通过联邦学习。我认为这是

推动框架的关键技术之一。我很想知道是否可以稍微扩展一下这个概念。

因为我们，你知道，我们，我们已经非常关注生成式 AI 炒作周期好几年了。现在，这正在转向以不同的方式组合模型，以及代理，你知道，关注点，最终，物理，你知道，模型在互动方面。所以，我知道我，

我看到的情况是，人们不再只使用一个模型，而是将许多不同的模型组合在一起以完成工作。这是否会以任何方式改变您对使用联邦学习的思考方式？就像您在解决方案中可能拥有的每个模型都是其自身的单次

Flower 实现，或者你们是否正在考虑将模型组合在一起，如果它们都使用来自不同资源的数据等等，那么当我们转向我的解决方案包含许多模型时，这是否会以任何方式改变用户对使用 Flower 或构建基于 Flower 的解决方案的思考方式？这是一个非常深刻的问题，我

我觉得这里有几个可能的未来。

未来，这些代理工作流程（您拥有某种程度上链接在一起以完成特定任务的模型）最终也可以与联邦开发一起使用。所以我看到了未来，那里也存在这种可能性。但需要采取一些中间步骤。原因是，当您将这些模型用于代理工作流程时，

它们需要针对代理工作流程进行真正的优化。它们需要在某种结构上进行训练，并为此进行优化。需要对此进行一些适当的评估。

因此，我看到的未来是，如果代理工作流程和联邦学习这两种途径走到一起，那就是人们应该考虑进行强有力的评估

对于这种工作流程。然后知道它们有一定的局限性，一旦能够量化它们，就可以寻找通过分布式学习（例如联邦学习）改进它们的方法。这就是您使代理工作流程得到改进的方式。

Chong，听到您对联邦学习和 Flower 的生产用途的一些看法，真是令人着迷。当我们在这里结束时，我想象我们将在几年后或更早之前再次邀请 Flower 参加播客。希望这将成为一个经常性的节目。但是，当您展望这个即将到来的季节时，

无论您正在从事的工作，还是更广泛的生态系统，让您兴奋的事情，让您感兴趣的事情，当您晚上下班回家时，最让您念念不忘的事情是什么？是的，当然。我认为……

我非常热衷于考虑这个纯粹基于 FL（联邦学习）训练的 LLM 基础，并且已被证明既能保护隐私，又能达到最先进的水平。

我认为，如果观众和你们自己查看一下，我们也正在与美国的 VANA 合作。他们正在研究数据 DAO，我们正在努力进行这项工作。所以我真的很期待看到第一个

以 FL 方式训练的世界元素，具有某种标准，太棒了，是的，我们也期待着这一点，当然会在它发生时来到节目中并给我们你的评论，但是，非常感谢你抽出时间，Chong，与我们交谈，非常感谢你的观点，并且请向 Flower 团队以及他们持续的工作表示感谢，嗯

作为一个团队，对生态系统来说是一个伟大的补充。我会的。谢谢，Daniel 和 Chris。感谢你们邀请我参加播客。好了，这就是我们本周的节目。如果您还没有查看我们的 ChangeLog 时事通讯，请访问 changelog.com/news。在那里，您将找到 29 个理由，是的，29 个理由说明您应该订阅。

我将告诉您第 17 个理由，您实际上可能会开始期待星期一。听起来好像有人得了星期一的病。changelog.com/news 上还有 28 个理由在等着您。再次感谢我们 Fly.io 的合作伙伴、Breakmaster Cylinder 的节拍以及您的收听。现在就到这里，我们下次再聊。