We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
back
ep98 GPT背后的真实! 说给普通人理解的Transformer框架和Attention机制
46:10
Share
2024/5/6
朝十晚久
AI Chapters
Transcribe
Chapters
免责声明？
GPT到底指的是什么？
AI就是用数值化的方法对世界做参数估计？
为什么是神经网络？
从one-hot encoding开始，把文字输入变成数值向量
模型输出和如何训练(损失函数和优化模型)？
更好的输入：词向量 word embedding (word2vec, glove, …)
梯度下降、梯度爆炸/消失？
生成式、语言模型、seq2seq？
RNN 循环神经网络
Attention 注意力机制
query, key, value 详解attention机制？
multihead 多头注意力
attention到Transformer？
positional encoding 位置编码
训练解码器decoder需要masked attention？
最终decoder生成结果需要结合encoder输出和decoder本身attention？
Shownotes
Transcript
No transcript made for this episode yet, you may request it for free.
