We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Federated learning in production (part 1)

Federated learning in production (part 1)

2025/5/30
logo of podcast Practical AI: Machine Learning, Data Science, LLM

Practical AI: Machine Learning, Data Science, LLM
AI Deep Dive AI Chapters Transcript
People
P
Patrick Foley
Topics
Patrick Foley: 传统的机器学习方法依赖于集中式数据训练，但这种方法在处理隐私敏感或数据量巨大的场景时会遇到挑战。联邦学习提供了一种替代方案，它不将数据集中，而是将模型发送到数据所在的位置进行训练，从而在保护隐私的同时实现分布式训练。这种方法与传统的分布式训练密切相关，但更加强调隐私保护的重要性。在联邦学习中，需要特别关注如何验证模型不泄露关于数据的敏感信息，以及如何应对来自多个互不信任的参与方的潜在威胁。因此，联邦学习不仅仅是一种技术手段，更是一种在多方协作环境下，保障数据安全和隐私的策略。 Patrick Foley: 在实际操作中，联邦学习框架首先需要对模型有一个共同的理解，然后将模型分发到各个参与方。在实验启动时，会有一个中心服务器（或称为聚合器）负责与所有参与方通信，分配任务并提供最新的模型权重。客户端（或称为合作者）则在本地运行代码，并根据联邦学习计划进行训练。这个计划包含了模型的超参数、网络配置等重要信息。为了确保数据安全，需要进行严格的审查流程，尤其是在医疗机构等对数据隐私有严格要求的场景下。在训练过程中，模型权重会被限制在NumPy字节中传输，以避免潜在的代码注入风险。训练完成后，各个参与方会将更新后的模型权重发送回聚合器进行整合，这个过程可以通过加权平均等方法实现。通过这种方式，联邦学习可以在保护数据隐私的前提下，达到接近集中式训练的准确率。 Patrick Foley: 联邦学习的聚合方法有很多种，其中FedAverage是最常用的算法之一。但针对数据异质性问题，还有其他算法可以更好地处理不同客户端之间的数据分布差异。例如，FedOpt算法会考虑各个合作者的损失项，以便更快地收敛到全局最优模型。虽然这仍然是一个活跃的研究领域，但通过应用这些先进的聚合方法，联邦学习通常可以达到与集中式训练相媲美的性能。在实际应用中，联邦学习已经被成功部署在医疗、金融等多个领域，例如脑肿瘤分割、文本预测等。这些案例充分证明了联邦学习在保护数据隐私的同时，实现高效模型训练的潜力。

Deep Dive

Shownotes Transcript

In this first of a two part series of episodes on federated learning, we dive into the evolving world of federated learning and distributed AI frameworks with Patrick Foley from Intel. We explore how frameworks like OpenFL and Flower are enabling secure, collaborative model training across silos, especially in sensitive fields like healthcare. The conversation touches on real-world use cases, the challenges of distributed ML/AI experiments, and why privacy-preserving techniques may become essential for deploying AI to production.

Featuring:

Links:

Sponsors:

  • NordLayer) is a toggle-ready network security platform built for modern businesses. It combines VPN, access control, and threat protection in one easy-to-use platform. No hardware. No complex setup. Just secure connection and full control—in less than 10 minutes. Up to 22% off NordLayer yearly plans plus 10% on top with the coupon code practically-10.