We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
刘
刘飞
一位活跃的主播，通过播客分享各种主题，包括商业故事和文化内容。
姚
姚敏
姚敏：AI大模型的兴起带来了算力需求的爆炸式增长，智能算力占比迅速提升，与传统计算模式差异巨大。大模型训练对算力、能耗和成本的要求极高，训练周期长，中断代价巨大，对系统可靠性和效率提出了前所未有的挑战。蚂蚁集团作为AI领域的积极参与者，也面临着诸多挑战，例如数据中心能耗、运营管理、人才培养等。蚂蚁集团的AI战略是希望AI像扫码支付一样便利每个人的生活，为此，蚂蚁集团构建了自身的技术大模型，并开发了医疗管家、生活助理和金融管家等垂类应用。在算力基础设施方面，蚂蚁集团更倾向于利用西部的清洁能源，并积极探索液冷等技术来降低能耗。
在人才方面，AI领域人才稀缺，尤其需要具备全链路设计能力的复合型人才。国内AI人才面临技术追赶的压力，需要在软件生态和硬件架构方面同时努力。
对于未来AI算力发展，姚敏认为，国内AI算力发展需要解决国产GPU的应用和管理大规模异构集群的问题。大模型训练将走向大规模高密度，需要关注集群架构设计、网络性能等。国内可能需要探索出一套不同于海外的高并行算力架构。
对于AI创业团队，姚敏建议谨慎选择技术路线，考虑成本和难度，利用云服务降低训练成本，关注垂类应用，并探索小而精的模型。
刘飞：与姚敏探讨了AI算力变化、蚂蚁集团AI战略、未来应用场景探索和建议等话题，并对AI创业团队提出了建议。
Deep Dive
讨论了从基础算力向智能算力的转变，以及大模型对算力的要求和带来的挑战。
- 智能算力比例已经超过30%，可能很快会超过一半。
- 大模型训练需要2万张AI的GPU卡同时运行3到4个月。
- 算力的变化包括体积更小，耗能更大，成本暴增。
Shownotes Transcript