We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode E108|从20分迅速追到50分,国产大模型难在哪儿|AIGC特辑

E108|从20分迅速追到50分,国产大模型难在哪儿|AIGC特辑

2023/5/9
logo of podcast 硅谷101

硅谷101

AI Deep Dive AI Chapters Transcript
People
戴雨森
Topics
戴雨森:国产大模型发展迅速,部分模型得分已从20分提升至50多分,展现出巨大的进步潜力。然而,与GPT-4相比仍存在差距,尤其在逻辑推理、知识准确性等方面。未来发展面临诸多挑战,包括芯片供应、数据处理、算法优化、模型安全等。 泓君:中国大模型发展面临着技术瓶颈和国际竞争的双重压力,但同时也存在巨大的市场机遇。 戴雨森:中国大模型的快速发展得益于技术积累和人才储备,但同时也面临着技术瓶颈和国际竞争的双重压力。在模型评估方面,真格基金开发的Z-Bench系统为大模型的客观评估提供了有效的工具。 泓君:中国大模型发展需要解决数据、算法、架构等多方面问题,才能实现真正的赶超。

Deep Dive

Chapters
本期节目讨论了国产大模型与GPT-4的差距,以及如何设计一套大模型评分系统。嘉宾分享了他们团队设计的Z-Bench评分系统,并对GPT-4、国产大模型的得分进行了比较,指出国产大模型在快速追赶,但仍存在差距。
  • 团队开发了一套大模型评分系统Z-Bench,包含300个问题。
  • GPT-4得分在80分左右,国产模型得分从20分迅速提升到50分。
  • 差距缩小,但从50分到80分可能更难。
  • 测试问题涵盖多个领域,并根据ChatGPT的涌现能力设计。

Shownotes Transcript

4月是大模型频频迭代的一个月,也是中国大模型的集中发布期。这些模型更新迭代之后到底进化在哪儿,可能深度使用者最有发言权。本期嘉宾和他的团队也在过往的使用体验中,结合一些学术论文研究出了一套给大模型打分的标准——如果不是一个专业的技术人员,普通人也可以通过一些好玩的测试题目,区分国产大模型与GPT4到底有哪些不同。

随着越来越多的大公司与创业公司加入到国产大模型的竞争中,本期节目我们也聊了聊,除了芯片困境,国产大模型到底怎么样,以及难在哪儿?

【主播】 泓君,资深媒体人 【嘉宾】 戴雨森,真格基金管理合伙人

【你将听到】 使用体验 【03:18】大模型的使用体验:与七八年前的对话机器人很不一样 【04:51】ChatGPT 20问游戏:理解规则+二分法查找 【05:51】Midjourney:从V3到V5进化惊人,打开新的使用方式 【08:48】手工更贵,机器做的更好:原创会越来越有价值 【10:05】如何使用ChatGPT:更适合脑洞与头脑风暴 评分系统 【12:21】300个问题,如何设计出一套大模型的评分系统 【15:22】GPT4评分80分,国产模型迅速从20分追到50分 【16:43】麻辣螺丝钉与爆炒篮球,GPT的进化速度 【20:05】两个月飞速进展:从聊天机器人到GPT4到AutoGPT 【21:46】大模型也有类似于自动驾驶的五级分类 【24:10】基于大模型的创业,早创业还是晚创业谁更有优势? 国产大模型 【29:12】国产大模型格局未定,但要先造船 【32:13】大模型的终局是什么:赢家通吃?类公有云格局or百家争鸣? 【34:50】不止是A100芯片,数据、算法、架构,都需要解决 【36:59】中文互联网的数据不是问题? 【38:33】AutoGPT初印象:既震撼又忧虑 【40:43】微软可以一天训练一个GPT3,但只有它的超算才能训练GPT-4 【44:01】GPT的价值观:目前还是加州白人男性价值观 【46:38】潜在安全风险:操作选举,电话杀猪盘,垃圾信息 【49:04】OpenAI的股权结构:收益权与控制权分开 【53:00】做出OpenAI需要探索能力,第二个做更需要执行能力 【54:54】这轮AI浪潮有泡沫也有啤酒,人类最大的一轮技术革命 【57:04】未来不可预测,我所说的都是错的 【59:04】技术成熟有利于成熟创业者,新技术反而利好年轻人

【招聘】 我们团队目前正在招聘全职的播客节目监制、视频后期、商务拓展以及运营,欢迎感兴趣的小伙伴把你们的简历和代表作品发送到我们的邮箱:[email protected])。具体要求我们之后会发布在【硅谷101】的微信公众账号上,欢迎关注。

【相关资料】 真格基金的评分系统:大模型测试集Z-Bench https://mp.weixin.qq.com/s/D9xQYIw8K2OjVLBwzNtagQ)

【BGM】 Cheese and Crackers 【后期】 AMEI

【在这里找到我们】 公众账号:硅谷101 收听渠道:苹果|小宇宙|喜马拉雅|蜻蜓FM|网易云音乐|QQ音乐|荔枝播客 海外用户:Apple Podcast|Spotify|TuneIn|Google Podcast|Amazon Music 联系我们:[email protected])

Special Guest: 戴雨森.