We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
E107｜AI大爆发：OpenAI极早期历史 ，以及图像领域的GPT moment｜AIGC特辑
2023/4/26
硅谷101
J
Jim Fan
泓
泓君
泓君：就OpenAI的早期发展、大模型技术趋势以及未来发展方向与Jim Fan进行了深入探讨，涵盖了OpenAI早期团队构成、技术选择、资金投入、以及大模型的未来市场格局等多个方面。Jim Fan分享了他作为OpenAI首位实习生的亲身经历，以及对大模型技术发展趋势的独到见解。
Jim Fan：详细介绍了他在OpenAI实习期间参与的项目OpenAI Universe，以及对通用智能体和AGI的理解。他回顾了OpenAI早期团队成员的专业背景和研究方向，并分析了Alec Radford对GPT技术发展的重要贡献。他认为，OpenAI早期并未意识到单纯增加算力就能实现大模型，但其研究为之后的大模型发展埋下了种子。GPT-2的涌现智能促使OpenAI下注大规模算力投入，最终成就了GPT-3。他还探讨了数据选择（例如Reddit数据集）对模型生成内容的影响，以及吸引顶尖研究者加入OpenAI的原因（研究自由和公司资源）。
Jim Fan：对未来大模型市场格局的预测是不会是赢者通吃，而是多个大模型共存，每个模型都有自己的专长，并会向多模态方向发展。他认为定义AGI意义不大，更重要的是分析模型的经济价值和社会价值，并指出人工智能是一场新的工业革命，其影响力可能比前几次工业革命加起来都大。他还探讨了大模型未来是通才还是专才的问题，认为通才模型加上插件或特定领域微调的模式将会是未来方向。他详细解释了Segment Anything模型的突破点，以及它对无人驾驶和机器人领域的影响，并将其称为图像领域的‘GPT moment’。最后，他还分享了他对多模态研究和人工智能决策研究的看法，以及他对人工智能未来发展速度的预测。
Deep Dive
本期节目邀请了OpenAI的第一个实习生Jim Fan，他分享了在OpenAI极早期（2016年）的实习经历，以及与公司早期大神级科学家们共事的感受。他详细描述了当时OpenAI的研究氛围、研究方向以及对未来大模型发展的初步探索。
- Jim Fan是OpenAI的第一个实习生，于2016年加入。
- OpenAI早期团队成员均为业界响当当的大牛，例如GAN的发明者Ian Goodfellow，Adam优化器的发明者Diederik Kingma等。
- Jim Fan参与的项目是OpenAI Universe，旨在探索通用决策智能体。
- Alec Radford在Transformer出现之前，就已提出训练大型语言模型，并使用简单的目标函数（预测下一个单词）进行训练，这为后来的GPT模型奠定了基础。
- OpenAI早期便尝试使用Reddit等非学术数据集进行模型训练，以生成更生动、更富情感的文本。
- 当时的研究人员并未意识到单纯增加算力和数据就能实现大模型，但这种想法的种子已在当时埋下。
Shownotes Transcript