We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode #136. 从自然语言处理到大语言模型

#136. 从自然语言处理到大语言模型

2025/5/20
logo of podcast 牛油果烤面包

牛油果烤面包

AI Deep Dive AI Chapters Transcript
People
D
David
波士顿大学电气和计算机工程系教授，专注于澄清5G技术与COVID-19之间的误信息。
S
Sean
著名个人财务专家和广播主持人，创立了“婴儿步骤”财务计划。
斯
斯图亚特
Topics
David: 我认为大语言模型的发展可以类比于小孩的成长，预训练就像是基因，决定了基础能力；后训练就像是教育，塑造了模型的具体技能和行为方式。GPT系列的演进，特别是坚持Decoder-Only架构，是其成功的关键。虽然早期GPT被其他模型超越，但OpenAI坚持投入，最终实现了质的飞跃。 斯图亚特: 我对自然语言处理专家如何看待大模型非常感兴趣。想了解GPT等模型对NLP领域的影响。 Sean: 我想了解BERT和GPT的区别，以及它们在自然语言处理中的作用。 Vindy: (没有明确的核心观点，主要参与主持和提问)

Deep Dive

Chapters
本节探讨了GPT和BERT的异同，重点关注GPT坚持的Decoder-Only架构。尽管早期不被看好，但这种架构最终在ChatGPT的成功中证明了其价值。
  • GPT和BERT是两种不同的语言模型，BERT是语言理解模型，GPT是语言生成模型
  • GPT坚持Decoder-Only架构，在早期不被看好，但最终取得成功
  • GPT的Decoder-Only架构使得模型能够更好地处理语言指令和生成连续文本

Shownotes Transcript

自然语言处理领域的专家David现在在做一线大语言模型开发。他来给我们从自然语言处理专家的视角讲述大语言模型的崛起以及大语言模型的发展。

嘉宾：David 主播：斯图亚特、Sean、Vindy 剪辑&时间线：季雨清

关于「牛油果烤面包」 「牛油果烤面包」播客入选2020苹果最佳播客，获得年度编辑推荐，聊科技发展趋势，聊各行业来龙去脉。我们坐标硅谷，邀请第一线的资深专家分享给大家听！

欢迎您在每期节目下方给我们留言，和我们的主播互动交流，或是添加微信小助手nygkmb2022，加入微信听友群。如果您对我们的志愿者工作有兴趣，请点击 这个链接) 看我们的招募帖；你有什么有趣的话题，想来作牛油果烤面包的嘉宾，或是对节目有任何的意见或建议，欢迎发邮件和我们联系。我们的邮件地址是：[email protected]

图片： Generated by Gemini

片头片尾音乐： Courante 1st Cello Suite Exzel Music Publishing (freemusicpublicdomain.com) Licensed under Creative Commons: By Attribution 3.0 http://creativecommons.org/licenses/by/3.0/)