cover of episode 一个人也能独自开发大模型?对谈开源大模型 RWKV

一个人也能独自开发大模型?对谈开源大模型 RWKV

2023/7/28
logo of podcast AI炼金术

AI炼金术

Shownotes Transcript

嘉宾|罗璇,开源大模型 RWKV 元智能联创&CPO,炬星科技联合创始人,前阿里机器人产品总监 最近能看到,“泄漏”了很多GPT-4相关的模型的一些参数,内部架构等等。其中需要的“资金”是特别恐怖的,训练一次GPT-4预估的成本在6000万美元。 而一个创业公司,做“大”公司一样的事情,还是开源项目,是否会担心拼“钱”拼输了? 其实直到现在 Transformer 类的模型还是偏向于经验科学,也就是我们对他为什么有效并不够了解,既然大部分人在“经验”上都选了 Transformer 类的模型: 如何相信开源大模型 RWKV?开源大模型 RWKV 究竟特别在哪里? 每周更新文章,公众号:AI炼金术 每周直播,视频号:AI炼金术 商务合作:在公众号:AI炼金术 菜单栏中【商务】获取联系方式 相关 AI 实战课程 任鑫《AI新商业机会洞察22讲》 https://tools.hundun.cn/h5Bin/wxpay/dhy-selected-course-pay.html?page_type=&package_id=509&user_package_id=&channel=appshare&ambass_id=fabe90b3548513a654965aef6a1e65eb&channel_id=181&pid=TMI6&sale_channel=) 徐文浩《AI 大模型之美》 https://time.geekbang.org/column/intro/100541001)