We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
Optimizing for efficiency with IBM’s Granite
2025/3/14
Practical AI: Machine Learning, Data Science, LLM
K
Kate Soule
Kate Soule: 我领导IBM大型语言模型Granite的技术产品管理。Granite模型家族包含不同尺寸的语言模型（10亿到80亿参数）、视觉模型和辅助模型（Granite Guardian和嵌入模型）。我们专注于高效的模型架构，例如混合专家模型，以降低客户运行模型的成本。我们相信，专注于小型高效模型能够带来显著的性能提升，因为技术正在朝着这个方向发展。我们也重视责任AI，Granite Guardian模型监控模型输入和输出，以提高模型的稳健性和安全性。我们正在积极探索代理技术，并与IBM咨询部门合作，将Granite作为其代理和助手平台的默认模型。我们正在探索边缘环境中的应用，这需要在模型构建、模型本身和模型运行的硬件方面进行优化。未来，AI模型的评估应该更注重效率，而不是仅仅关注基准测试分数的微小提升。我们希望能够在性能成本曲线上的任何位置都能实现高效且灵活的模型。
Chris Benson: 作为访谈者，Chris Benson主要提出问题，引导Kate Soule阐述Granite的特性、优势、技术细节以及未来发展方向。他关注Granite的开源策略、模型架构选择、不同尺寸模型的应用场景、推理效率、责任AI措施、边缘计算应用以及未来发展趋势等方面。
Deep Dive
Introduction to Kate Soule, Director of Technical Product Management for IBM Granite, and an overview of her background in business and consulting, leading to her current role in AI. Discussion about the evolution of large language models and IBM's approach to open-source AI.
- Kate Soule leads technical product management for IBM Granite.
- Soule's background is in business and consulting, with experience in data science.
- IBM's Granite is a family of large language models developed by IBM Research.
- The rise of large language models and their business applications are discussed.
Shownotes Transcript