We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode 我在 Character.ai 做 Post Training|对谈前 C.AI 模型应用算法专家 Ted

我在 Character.ai 做 Post Training|对谈前 C.AI 模型应用算法专家 Ted

2024/11/16
logo of podcast 42章经

42章经

AI Deep Dive AI Chapters Transcript
#artificial intelligence and machine learning#ai market trends#ai entrepreneurship challenges#ai product innovation#agi discussion#generative ai#machine learning theory#age discrimination in tech#ai research#emotional intelligence in the workplace#ai integration in product development#ai in creative process#actor's craft#neuralink and ai integration#entrepreneurial decision making#professional transition#career pivot in middle age#comfort zone exploration#tech entrepreneurship challenges People
T
Ted
前 Character.ai 模型应用算法专家,深耕 AI 领域,特别是在 Post Training 和模型优化方面有丰富经验。
Topics
@Ted 认为 Character.AI 的技术实力很强,其大模型微调在业内领先,拥有大量的用户数据。但是,公司长期专注于 AGI 的追求,而忽略了商业化,导致最终被拆分。他认为如果专注于商业化或 AGI 其中之一,Character.AI 的发展可能会更好。 @曲凯 作为主持人,引导 Ted 分享了 Character.AI 的发展历程、技术优势、商业化挑战以及对未来 AI 发展趋势的看法。

Deep Dive

Character.AI 的兴衰与硅谷AI新趋势:一次深度访谈

我最近在硅谷拜访了前 Character.AI 模型应用算法专家 Ted,并就 Character.AI 的发展历程、技术优势、商业化挑战以及他对未来 AI 发展趋势的看法进行了深入探讨。这次对话让我对美国一线 AI 从业者的实践和认知有了更清晰的理解。

Character.AI:技术领先,商业迷茫

Ted 对 Character.AI 的技术实力给予了高度评价。他认为,Character.AI 的大模型微调技术在业内处于领先地位,这得益于三个关键因素:强大的模型基础设施、对自研模型的精细控制以及高效的用户反馈迭代机制。 Character.AI 拥有数千万月活用户,庞大的用户数据为模型迭代提供了丰富的素材。然而,Character.AI 的商业化之路却并不顺利。Ted 指出,公司长期以来过于专注于 AGI(通用人工智能)的追求,而忽视了商业化探索,这最终导致了公司的拆分。他认为,如果 Character.AI 能在 AGI 和商业化之间做出选择,专注于其中一个方向,其发展可能会截然不同。 他甚至大胆假设,如果 Character.AI 将其产品出售给字节跳动等公司,或许能改写其命运。

Post-Training 的最佳实践:高效迭代是关键

在 Character.AI 工作期间,Ted 主要负责 Post-Training(模型微调)。他分享了其团队在 Post-Training 方面的最佳实践,核心在于设计高效的迭代路径。他总结了四种迭代路径,并强调每种路径都蕴藏着提升模型性能的潜力。 他特别强调了数据质量的重要性,指出许多公司在数据收集和利用方面仍有很大的提升空间。 他认为,仅仅依靠简单的点赞、点踩等用户反馈是不够的,应该充分利用用户编辑、删除等各种行为数据,来更全面地了解用户偏好,从而指导模型的微调。 Ted 还详细解释了监督微调 (SFT)、人类反馈强化学习 (RLHF) 和直接偏好对齐 (DPO) 等技术在 Post-Training 流程中的作用,并指出 Character.AI 主要采用 SFT 和 DPO 的组合,取得了显著效果。

硅谷AI现状:多模态与自动交互Agent成焦点

Ted 对硅谷 AI 行业的现状进行了观察和总结。他指出,目前硅谷 AI 公司主要分为两类:专注于多模态应用的 AI 产品公司和专注于模型算法优化的 AI 算法公司。 前者致力于通过多模态技术(例如结合语音、图像等)来提升产品体验和商业价值;后者则致力于复制 OpenAI 的成功经验,例如通过改进推理算法来提升模型性能。 两类公司都对自动交互 Agent 技术寄予厚望,认为这项技术将解锁巨大的想象空间。

Ted 还分享了他最近的硅谷求职经历,他发现 Post-Training 人才非常抢手。他印象最深刻的面试是 Cursor 公司的面试,面试官甚至允许他使用 Cursor 工具现场解题,这体现了硅谷公司对实际操作能力的重视。

华人AI从业者的机遇

Ted 对硅谷的氛围表达了积极的评价,他认为现在可能是华人扬眉吐气的最好时机。大量的华人涌入 AI 行业,并在产品化和技术创新方面展现出强大的实力,这预示着华人将在未来 AI 发展中扮演越来越重要的角色。

总而言之,通过与 Ted 的对话,我不仅了解了 Character.AI 的发展历程和技术细节,也对硅谷 AI 行业的现状和未来发展趋势有了更深入的认识。 高效的模型迭代、高质量的数据利用以及对新兴技术的敏锐洞察力,将是未来 AI 发展的重要驱动力。 而对于华人 AI 从业者来说,这是一个充满机遇的时代。

Chapters
讨论了Character.ai商业化困难的原因,包括缺乏积极探索和团队思考不足。同时,比较了美国和国内AI创业公司在商业化上的不同态度和环境影响。
  • Character.ai团队长期处于既要产品又要AGI的愿景中,导致无法专注。
  • 国内AI创业公司普遍认为商业化是最重要的事情,而美国公司则更依赖投资人的支持。
  • 如果重来一遍,Ted认为应该更专注于AGI的研发,可能会改变公司的发展轨迹。

Shownotes Transcript

活动预告🥳:12 月 7 日,我们会请到 Ted 做一场线上活动,大家记得翻到 shownotes 末尾查看报名信息!

在我 9 月份的硅谷行程里,我见过的印象最深、让我最有收获的人之一就是 Ted。

那个时候他正要离开 Character.ai,作为第四十多号加入的员工,他对于 C.AI 的产品、模型、训练等等的熟悉程度都非常高,这次很开心能把他请来,跟大家一起分享下美国最著名的 AI 公司内部是如何运作的,Post Training 的最佳实践是怎么做的,以及硅谷一众 AI 从业者的现状和认知等。

这期播客的内容基本代表了美国最一线的 AI 从业者的实践和认知,非常有代表性,希望对大家有帮助!

最后,我们的 AI 私董会也在持续报名中,目前已经聚集了一批市场上最好的 AI 创始人,欢迎点击链接报名(里面也有目前已加入的成员名单,可点击查看)

人类博物馆】

**导游:**曲凯,42章经创始人

**28 号珍藏:**Ted,前 C.AI 模型应用算法专家

Part 1 从内部视角看 C.AI

  • 01:06 为什么商业化一直没做起来?
  • 04:40 如果 C.AI 当时往 AGI 赌把大的,或者把产品交给字节系,能改写自己的结局吗?
  • 06:51 我们很认可 Talkie,但不想学 Talkie
  • 09:36 被收购后,你还相信 C.AI 类产品的未来吗?
  • 11:35 有人说「C.AI 不是真正的 AI 陪伴」,那它到底是啥?
  • 12:19 C.AI 为什么做得比别人好?

Part 2 我在 C.AI 做 Post Training 的这一年

  • 14:56 工作状态是 996(主动的哈,passion!

  • 17:15 Post Training 的核心是设计高效的迭代路径

    • 18:42 四种迭代路径,都有很多低垂的果实可以摘
    • 21:40 怎么评估和改善「模型变蠢」的问题?
    • 22:54 迭代中一个有趣的 EQ 涌现
  • 24:19 Post Training 到底是怎么个流程?

    • 25:37 介绍 Post Training 三大件:SFT(监督微调) 、RLHF(人类反馈强化学习)、DPO (直接偏好对齐)
    • 32:07 以上天花板极高,RAG 和 Prompt Engineering 我们几乎没做
  • 32:53 帮你拉开和同行差距的 2 道数据思考题:

    • 33:18 你微调用的数据,质量真的不能更高了吗?
    • 36:00 收集来的用户偏好数据,只能是点赞点踩吗?
  • 39:32 大家现在关注的几个技术难题,C.AI 是怎么做的?

    • 39:49 怎么做好评估?
    • 41:10 怎么做好意图识别?
    • 43:22 C.AI 的语音延迟基本是业界做得最好的,是怎么做到的?

Part 3 硅谷观察

  • 46:17 一个不被公开的秘密:ChatGPT 内部也是多模型混用?

  • 47:28 硅谷整体还是很乐观,推理侧仍然大有可为

  • 50:45 硅谷现状:

    • 51:01 做产品的想靠多模态赚钱
    • 51:06 搞算法的想复制 o1
    • 51:16 两边都在期待自动交互 Agent 解锁的想象空间
  • 53:48 复盘最近的硅谷求职记

    • 53:54 Post-train 人才极其抢手
    • 54:27 印象最深的是,面 Cursor 的时候,我甚至被允许用 Cursor 现场解题
    • 56:03 最喜欢被问到「你觉得我们的 idea 有多不靠谱?」
    • 56:45 如果我是面试官,我会考察面试者的这项直觉能力
  • 57:28 我很喜欢现在硅谷的氛围!当下可能是华人扬眉吐气的最好时机

活动预告🥳】

12 月 7 日,我们会请到 Ted 做一场线上活动,感兴趣的朋友欢迎点击链接或扫描下面的二维码,一起来认识&交流!

The gang that made this happen】

  • 制作人:陈皮、Celia
  • 剪辑:陈皮
  • Bgm:Mondo Bongo - Joe Strummer & The Mescaleros

We're sunsetting PodQuest on 2025-07-28. Thank you for your support!

Export Podcast Subscriptions