如果 所有人 都 觉得 你 很 正常, 那你 肯定 你 就 没有 什么 理想。 对, 因为 你的 理想 肯定 是 大家 都能 想到 的 东西, 那 它 就 不是 一个 真正 的 理想, 或者说 它 对 人类 理想 的 总量 就 没有 增量。 我 觉得 接下来 会有 两个 大 的 mail stone。 一个 是 真正 的 统一 的 世界 模型, 它 统一 各种 不同 的 模态, 就是 一个 真正 的 scalable 和 general architecture。 第二个 就是 能 在 没有 人类 数据 输入 的 情况下, 能够 A I 持续 进化 散热。
这一次 相对于 去年 的 x GPT 来说, 哪一个 描述 更 重大?
我 觉得 现在 有点 像是 GPT3.5, 它 也是 一个 阶跃 式 的 提升, 但 同时 它的 模型 也 还是 比较 小, 所以 可能 可 预见 的 会有 更大 的 模型。
如果你 拿到 的 钱 是 最后 一笔 钱, 你 会 怎么用 这笔 钱?
我希望 这 永远 也 不会 发生, 因为 我们 未来 还需要 很多 钱。
Hello, 大家好, 欢迎 收听 张小 珺 商业 访谈录, 我是 腾讯 新闻 的 小俊。 这是 一档 描摹 我们 时代 的 商业 文化 和 新知 的 访谈 节目。 今天 的 嘉宾 是 大 模型 公司 月之暗面 的 创始人 兼 C E O 杨志林 杨智 琳, 是 去年 成立 的这 批 国产 大 模型 公司 创始人 中 最 年轻 的 一位, 也是 学术 工作 履历 和 通用 A I 有 最 直接 关联 的 一位。 他 毕业 于清华, 和 C M U 总计 论文 引用 次数 超过 22000次。 可以 看到 在 人人 喊 天啊, 人人 喊 商业化 的 中国 A I 生态 里, 这位 A I 研究员 出身 的 创始人 倒 不 那么 着急。
国产 大 模型 中月 之 爱 面 是 最 坚定 做 to c 且 只 做 to c 的 这么 一家 公司。 他们 在 去年 10月份 推出 了 智能助手 kimi, 也是 目前 估值 最高 的 一家 中国 大 模型 独角兽, 投 后 估值 超过 25亿美元。 就在 他们 进行 第三笔 融资 的 过程中, 我 和 杨志林 聊 了 聊 她 过去 一年 的 创业故事。
这 期 节目 由 两次 访谈 组成, 我们的 主要 访谈 是在 2024年 1月完成。 不过 过年 期间, OpenAI 重磅 发布 了 stora, 所以 我们 又 在 二月 补充 了 一次 访谈。 由于 杨振宁 有 大 模型 创业者 和 A I 科学家 的 两重 身份, 所以 节目 中 包含 了 许多 他 对于 A G I 技术 演进 的 关键 的 技术 判断。
最近 你的 状态 怎么样? 忙 吗? 有 多 忙?
忙, 事情 很多, 因为 各种各样 的 事儿, 但 我 觉得 还是 一个 好的 状态。 从前 年开始, 前年 年底 就是 一个 很 兴奋 的 状态, 可能 直到 今天 仍然 就 有点 感受 是 说 你的 一个 产业 的 开端。 巨大 的 想象 空间, 有点像 开车 在路上, 前面 有 很多 这种 雪山 这种 感觉。 但是 你不知道 里面 是什么, 对 吧? 你 在 一步一步 往前走。
每天 都是 很 嗨 的。 你们 办公室 门口 为什么 放 一架 钢琴?
就是 大家 做 的 钢琴 上面 还有 一张 所有的 专辑, 我 都 不知道 谁 放上去 的这 两天 还没 来得及 问对。
还 不是你 自己 放 的。
好像 最近 是 不知道 谁。 我是 前两天 来 突然 看到。
创投 行业 提到, 你 经常 会说 创始人 很 聪明, 有 技术 号召力, 团队 里 有 很多 技术 明星。 所以 就是 开始 聊 创业 之前, 我 能不能 先 跟 你 聊聊 你的 学术 背景, 这样 你 能 帮 大家 更好 的 了解 你。
对。
是 九 几 的? 92, 然后 是 一级 本科。
对。
因为你 本科 是 清华 计算机, 博士 是 卡耐基梅隆 的 计算机 学院。 那 你的 方向 一直 是 A I 吗?
对, 是的, 基本上 从 大二 开始, 对, 到 现在 可能 有 十年 出头, 十多年 一直 在 这个 方向 上 做了。 当然 中间 也 尝试 了 很多 不同 的 东西, 但 整体 就 感觉 还是 蛮 好玩的。
所以 你 这个 方向 是 怎么 递进 的? 从 本科 到 博士。
我 最近 开始 更 偏 发散 的 探索。 到处 看看, 做 过 一些 图 相关 的, 做 过 一些 多 模态 相关 的, 反正 基本 相关 的 一些 东西 都 做。 可能 直到 17年 开始 有点 收敛 到 语言 模 我 这个 方向。 因为 当时 觉得 他 可能 是一个 比较 重要 的 问题, 到 后来 可能 觉得 它是 唯一 重要 的 问题, 就是我 觉得 会有 这样的 一个 路径。
17年 就是 普遍 A I 圈子里 对于 语言 模型 是一个 什么样 的 认知。
它是 一个 用来 给 语音识别 做 排序 的 模型。 就是 当你 识别 完 一段 语音 之后, 你 不是 有 很多 结果, 你 就可以 拿 一个 语音 模型 去 看 到底 哪个 概率 更大, 就 把 它 输出 来。 所以 应用 非常 有限。 但是 你 发现 它 其实 是一个 很 根本 的 问题, 因为 在 对 这个世界 的 概率 做 建模, 当然 可能 语言 它 还是 局限, 因为 它 可能 世界 的 一个 投影。 但是 理论上 你 把 这个 token space 做 的 更大, 你 就有 一个 通用 的 世界 模型。 就 这个 世界上 每 一样 东西 它 怎么 产生, 怎么 发展, 你 都能 给他 分配 一个 概率, 就 像是 这样的 一个 事儿。 所以 大家 其实 是 很 根本 的, 就 基本 所有 问题 都 可以 被 归结 成 怎么 对 这个 概率 进行 估计。 所以 他 可能 就 后面 变成 唯一 重要 的 问题, 这个 认知 其实 也 在 产生 变化。
然后 你的 老师 也都 很 有名。 博士 是一个 是 苹果公司 A I 负责人, 另外一个 是 google A I 的 首席 科学家 William w Colin。 他们 这些 人都 是 又 在 产业界 又 在 学界。
对, 是的, 我 觉得 这个 也能 看到 一个 趋势, 一是 结合。 我 觉得 可能 从前 几年 开始 更多 的 会有 一些 结合。 我 觉得 现在 可能 更多 的 整个 趋势 也 发生变化, 就是你 慢慢 更多 的 有 价值 的 突破 会 产生 在 工业界, 我 觉得 这个 其实 也是 一个 领域 发展 的 必然规律。 你 可能 一开始 会 先 从 一些 探索性 的 研究 开始, 逐渐 转移到 可能 更加 成熟 的 工业化 的 过程。 但 你 不 意味着 是在 这个 工业化 的 过程中 不需要 研究, 它 还是 需要 很多 研究。 但是 你 就 逐渐 发现, 就是说 你 如果 是 纯 研究, 它 可能 会 很难 做出 有 价值 的 突破。
你说的 突破 更多 的 发生 在 产业界, 就 包括 创业 公司, 也 包括 巨头 的 那些 A I lab。
它 不光是 A I lab 了, 就是我 觉得 lab 这个 事儿, 它 已经 也是 一个 历史 了。 因为 lab 还是 很纯 研究 的 一个 东西, 就 有点像 以前 google brand 做 的 事情。 Glen 可能 是 之前 产业界 最大 的 A I lab。 但 它 其实 本质 上 是 说 就 把 一个 研究型 的 组织, 安插在 一个 大公司 里面。 他 这种 组织 方式 它是 有可能 能 探索 出来 新的 想法, 但是 他 很难 产生 伟大的, 所以 我 觉得 这个 是一个 局限性, 它 可能 能 产生 transformer, 但 可能 产生 不了 GPT。 可以 看到 就是说 这个 模式 现在 也是 在 被 重新 思考。
然后 我 就 我 觉得 很多 现在 的 开发方式 会 逐渐 演变成 你是 要 做 一个 巨大 的 系统。 这 里面 你 可能 确实 需要 新的 算法, 但是 也 需要 很好 很 扎实 的 工程。 同时 你 甚至 需要 很多 产品 的 商业化。 它 会 变成 一个 这样的 系统。 就 有点像 可能 21世纪 初, 你 不可能 在 实验室 里面 再去 研究 信息检索。 你 肯定 是要 放在 现实 世界 里面, 有一个 巨大 他的 系统, 有一个 有 用户 的 产品, 就像 google 这样 去 真正 实现。
我 觉得 这个 其实 是一个 趋势。 所以 我 觉得 就是说 像 科研 系统 或者 教育 系统, 后面 它 逐渐 会 转变 他的 职能。 就是 他 更多 的 职能 就会 变成 是以 训练, 就是 培养人才 为主。
怎么 来形容 这个 组织 呢? 这个 组织形式 对。
就是 它是 它的 雏形 吗? 我 觉得 他 可能 是 现在 最 成熟 的 一个 组织 了, 当然 肯定 也 还在 逐渐 演化。 它 应该 是一个 完全 为了 A G I 而 打造 的 一个 组织。 我 认为 今天 可能 OK 是 这 里面 最 成熟 的 A G I 组织。
它是 为了 一个 科学 目标 而 打造 的 组织。
不一定 是一个 科学 的 目标, 科学 可能 是 其中 的 一部分。 但是 我想 强调 它 不是 纯 科学, 它 其实 是 科学 和和 工程 和 商业 的 结合。 我 觉得 它 还是 得 是一个 商业化 的 组织, 还是 得 是一个 商业化 的 这种。 它 应该 是个 公司, 不是 个 研究院。 但是 这个 公司 它 有可能 是一个 从 0到1 去 建造 的, 因为 A G I 需要 新的 组织 方式, 我 觉得 这个 是 核心 的, 我 觉得 很 核心 的 一个 特点 就是 它 应该 是个 登月计划, 它 应该 是个 one shot。 它 有 很多 自顶向下 的 规划。 但是 在 这个 规划 的 中间, 你 又要 去 能够 有 创新 的 空间。 因为你 并不是 所有 技术 都 已经 确定, 就是说 在 一个 top down 的 框架 上面 有 一些 blom up 的 元素, 我 觉得 这个 可能 是 很 重要。
这个 东西 其实 就是说 本来 不存在 这样的 组织 的, 组织 本质 上 你是 要 去 适配 技术。 因为 技术 决定 了 你的 生产方式, 它是 必须 要 匹配。 如果你 不 匹配, 它 就 没法 有效 的 去 产出。 所以 我们 相信 这个 东西 它 大 概率 是 需要 去 重新 去 设计。 所以 我们 今天 也 在 迭代 的 过程中, 去 找到 一个 更好 的 方式 来 让 合适 的 人 能 做 合适 的 事情。
我们 重新 说 一下, 之所以 要 做 这个 突破, 是因为 现有 的 组织形式 都 无法 满足 现有 的。 就 包括 是 学校 里、 高校 里, 也 包括 大 厂里 的 某些 部门。 为什么 这些 不能 满足?
纯 研究 的 方式 肯定 不行。 同时 你的 开发方式 也 发生 了 变化, 我 觉得 是 两点。 一点 就是 你的 生产方式 它 跟 互联网 不一样。 第二点 它 会 从 一个 纯 研究 的 东西 变成 一个 研究 工程 产品 商业 相结合 的 东西。 这个 是 为什么 你 需要 一个 新的。
比如说 sam 当时 有 一种 选择 是 加入 微软, 去做 微软 的 那个 A I 的 一个 非常 senior 的 team 的 leader。 他 做 这件 事情, 他 接 了 这个 offer 和 在 OpenAI 做 C E O 的 这件 事情 本质 差别 是什么?
你 需要 在 一个 旧 的 文化 里面 产生 一个 新的 组织 的 难度 是 很大 的。
而且 它的 目标 可能 就 不是 A G I 了。
如果 是在 微软 就 很难。
所以 你的 目标 是 A J I, 是 你是 一 心想 做 中国 的 OpenAI。 可以 这么 类比, 不大 准确。
我们 不想 做 中国 的 什么东西, 我们 也 不一定 想做 O K I。 我 觉得 首先 真正 的 A G I 肯定 是 全球化, 就是我 觉得 不存在 一个 由于 市场 的 保护 机制, 导致 你 只能 做 某 一个 regional markets 的的 H I 公司。 我 认为 长期 不存在。
起步 于 中国 的。
觉得 可能 作为 一个 短期 的 策略 是 可以, 但是 你 最终 必然 是 需要 做 全球化。 我 觉得 全球化 跟 A G I 跟 你 有一个 很大 用户量 的 产品, 这 三个 东西 有可能 最终 是 应该 是 说 可能 都是 必要条件, 不存在 一个 regional 的 H I 公司。 我 觉得 O K I 值得 学习 的 是 他们的 这种 技术 理想主义。 因为 其实 你 如果 去 看 1718年 的 时候, 那个 时候 O K I 的 风评 是 很差, 很多人 比较 少 工作 什么。 就 因为我 觉得 我们 这个 圈子里 人的 选项, 其实 一般 可能 会 考虑 像 google 这样的 地方。 但是 那个 时候 其实我 就 我 看来 其实 基本上 所有人 都 觉得 是 疯子, 对 吧? 很多人 跟 伊利亚 聊 完 之后, 但是 这个人 肯定 是 疯了。 我 肯定 或者说 觉得 他 太 自以为是 了, 觉得 这个 东西 反正 不是 疯 就是 骗子, 反正 就 完全 不 靠谱 的 感觉。
但是 我 觉得 这个 正是 一种 技术 理想主义。 如果 所有人 都 觉得 你 很 正常, 那你 肯定 你 就 没有 什么 理想。 对, 因为 你的 理想 肯定 是 大家 都能 想到 的 东西, 那 它 就 不是 一个 真正 的 理想, 或者说 他 对 人类 理想 的 总量 就 没有 增量。
我 觉得 这个 是 很 值得 学习 的 一个点。 所以 他们 可以 从 很早 的 阶段 就 开始 去做 投入, 去 找到 一个 非 共识。 然后 在 这个 非 共识 上 找到了 ai 现在 唯一 真正 的 work 的 基本原理, first principle 通过 next sop an prediction 去 scale, 这个 是 唯一 一个 在 能 work 的 东西。 我 觉得 这是 他们 巨大 的 contribution, 也是 巨大 我们 需要 学习 的 地方。
但是 我 还是 觉得 说 可能 会有 比 O K I 更 伟大的 公司 存在。 一个 真正 伟大的 公司, 它 应该 是 能够 结合 这种 技术 理想主义, 并且 更有 一个 伟大的 产品 去 跟 所有的 用户 去 共创。 我 觉得 A G I 最终 会 是一个 跟 所有 用户 一起 去 work, 一起 合作 产生 的 一个 东西。 它 不光 只是 个 技术 的 问题, 它 也 需要 一些 一定程度 上 你 能够 去 有 一些 这种 功利主义 的 追求, 有 一些 现实 的 追求。 最终 是要 在 这 两个 东西 之间。 能够 完美的 结合起来。 我 认为 它 就是 下一代 可能 最伟大的 公司 会 需要 具备 的 两个 特质。 所以 我 觉得 这个 可能 是我 觉得 是 我们 需要 去 突破 的 东西。
技术、 产品、 商业 都 要有。 对, 回到 刚才 说 的 那个 导师 的 问题, 你 从 你 非常 有名 的 导师 上 分别 学到 什么?
我 觉得 我 学习 到 最多 的 是 google 的 时候, 我们 18年底 开始 做 基于 transformer 的 语言 模型。 我 觉得 最大 的 一个 learning, 从 无限 的 雕花 中 是 把 自己 释放出来 是一个 很 关键 的 事。 你 应该看到 什么 是一个 大 的 方向, 你 应该看到 大 的 梯度。 或者 这样 类比, 当你 眼前 有 十条 路, 对 吧? 可能 你 一般人 考虑 的 是我 走 这条路 的 时候, 可能 前面 有一个 行人 我要 怎么 刹车, 我在 考虑 的 都是 短期 的 细节。 但 其实 你 这 十条 路 里面 到底 选 哪一条, 可能 其实 是 最重要的事 情。
我 觉得 这个 领域 在 之前 其实 会有 这样的 问题, 就是说 你 可能 关注 的 点 不对。 比如说 你 在 一个 只有 一两百万1个 token 的 数据集 上, 然后 去 看 你的 这个 polity 怎么能够 降 得 更 低。 你的 loss 怎么能够 降 得 更 低, 怎么能够 提升 它的 准确率, 那你 就会 陷入 无限 的 雕花。 当时 会 有人 发明 很多 很 诡异 的 architecture, 发明 很多 很 诡异 的 做 正则 化 的 方式, 这些 都是 雕花 的 技巧。 你 经过 这种 雕花 之后, 你 发现 可能 在 这个 数据集 上 它 要 变 好了。 但是 可能 没有 看到 问题 的 本质。
问题 的 本质 其实 在于 说 要 去 分析 现在 这个 领域 缺少 的 是 啥, 它的 第一性 原理 是什么? 比如说 scaling law, 为什么 它 能 成为 第一性 原理? 就是你 只要 能 找到 一个 结构, 满足 两个 条件。 一个 是 它 足够 通用, 第二个 是 它 可 规模化。 通用 的 意思 就是你 能把 所有 问题 放到 这个 框架 里面 去 建模。 可 规模化 的 意思 就是说 只要你 往里面 投入 足够 多 的 算 力, 它 就能 变 好。
这个 东西 它 就是 一个 很 底层 的 东西。 我 觉得 这个 是 其实我 在 google 学到 的 一个 思维。 如果你 这个 东西 能够 被 一个 更 底层 的 东西 解释, 那你 就 不应该 在 上层 去做 过度 的 雕花。
假设 skin law 成立 的, 就 当时 有 一句 很 重要 的话, 其实我 是 很 认同。 如果你 能 用 scale 解决 的 问题, 你 就 不要 用 新的 算法 去 解决 它。 对你 新的 算法, 你 最大 的 价值 可能 是 让 他 怎么 更好 的 scale, 我 觉得 这个 是 很 重要 的。 所以 就 当你 把 自己 从 很多 雕花 的 事情 里面 释放出来 之后, 我 觉得 就可以 看到 更多。 这个 我 觉得 是 可能 很大 的 一个 learning。
Google 当时 也是 scaling law 的 追随者, 对 吧?
我 觉得 就是 已经 有 很多 这样的 思想, 这个 思想 其实 有 它 其实 并 不是说 看不到 这样的 东西, 更多 的 还是 组织上 的 问题, 没办法 把 它 变成 一个 真正 的 系统。
还没有 像 欧 红安 那样 成为 一个 系统对 google 是 怎么 贯彻 这种 第一性 原理 的 呢?
我 觉得 他们 没有 贯彻 的 非常 好, 但是 我 觉得 很多 人的 思维 是 好的, 他 其实 是 有 这样的 思维, 但是 他 没有 办法 把 它 组织 起来, 把 它 变成 一个 真正 的 moonshot。 他 可能 是 更多 的 是我 这里 有 五个 人 在 追求 我的 第一 信任 力, 那里 有 五个 人 在 追求 他们的 第一 信任 力。
这是 但是 不是 这个 组织 第一 行业 里面 对 这个 组织 好像。
没有 一个 思 对, 没有 一个 top down 的 东西。
你 在 google 是 工作 吗?
对, 就是我 在那 实习 了 很长 一段时间。
还是 在读 博 期间。
对, 是的。
我 注意到 你 读 博 期间 你 做了 好多 事儿, 那 履历 上 可以 呈现 的 就 已经 有 很多 了。 比如说 你 18年 作为 第一 作者 与 图灵奖 得主 杨乐 昆 合作 发表 论文, 又 与 图灵奖 另外 得主 usha bengel 也是 合作 发表 论文, 这些 学术 上 的 合作 是 怎么 产生 的 呢? 而且 他们 都 不是你 的 导师, 大多数 理解 可能 你的 合作 对象 大 概率 会 是 导师。
也没有 这个 限制。 我 觉得 其实 学术 还是 很 open, 我 觉得 大家 都是 很 open。 所以 只要你 有 好的 想法, 有意义 的 问题, 我 认为 这个 都 还好。
不过 我 觉得 其实 合作 也是 很 重要。 很多 时候 两个 脑子 或者 N 个 脑子 能 做出来 的 东西 确实 会 比 一个 脑子 更多。 这个 是我 观察 了 很多 很很 有意思 的 现象, 有可能 这些 在 做 开发 A P I 的 时候 也是 可以 用 的。 发现 A I 有有 很 重要 的 一个 技巧 叫 sambo。 我 觉得 本质 上 是在 做 这样的 事情。 当你 有 很多 有 diverse 的 观点, 然后 在 这 里面 可以 去 碰撞 出来 很多 新的 东西。 我 觉得 我们 当时 是 做 那个 hop Q A, 包括 去做 一些 learning 相关 的 东西, 我 觉得 其实 都 受到 了 这种 合作 的。 有 很大 的 收益。
所以 你是 有一个 idea 就 问 他们 是否 感兴趣。
对, 那 差不多 是 这个 过程。
而且 你 都是 第一 作者。 对 就是 怎么 作为 一个 博士生 和 这些 图灵奖 得主 在一起, 让 他们 感兴趣 且 自己是 第一 作者, 非常 好奇。
可能 就是 运气 比较 好吧。
这 很 常见 吗? 这 应该 不 常见。
我 觉得 因为 大家 其实 都很 open, 也 还是 算 一个 正常 的 事情。
在 学术 上 搞定 学术 大佬 和 在 融资 中 搞定 资本 大佬, 哪个 更难? 两个 相似点 是什么?
我 觉得 搞定 的 不是 一个 好的 词, 它是 两个 不一样的 东西。 但 我 觉得 可能 背后 本质 都是 合作, 合作 就是 在 这 里面 能 双赢。 因为 双赢 是 合作 的 前提, 需要 能够 给 别人 提供 独特 的 价值。
怎么 让 他们 信任 你? 你 觉得 你的 天赋 是什么?
也没有 什么 天赋, 就是 努力 干活。
然后 你 19年 与 谷歌 C M E U 联合 发表 深度 学习 和 自然 处理 语言 的 模型 X L net。 他 也是 基于 transformer 对 吧? 你们 在 做 这个 的 时候 就 已经 非常 坚定 要 走 这条 路线 了 吗?
是的, 当时 很 明显 的 看到 像 有 scaling law, 有 语言 模型。 所以 这个 也是 我们在 这个 方向 上 的 一个 小的 尝试。
就是你 一直 是 这个 方向 的对。
说 像 retrain 这些 东西, 我们 确实 是 开始 比较 早。 可能 从 19年 开始, 包括 到 后面, 我 觉得 其实 这几年 也 一直 在 探索 各种 不同 的这 应该 怎么做?
在 拆 GPT 爆发 之前, 这个 方向 的 状态 是什么 样子? 是 只有 一部分人。
相信 可能 有 一小部分 人, 我 觉得 可能 我们是 其中 的 算 少数 的对 这个 东西 有 一些 信仰 的 人。 所以 其实 也很 早就 我们 到处 去 聊 一些 合作, 去 布道, 去 想方设法 创造条件 训练 大 模型。 当然 每个 领域 都 会有 这样的 一个 过程。 所以 我们 像 之前 做 的 这些 事情, 我 觉得 对 我们 现在 来讲 也是 很多 有 很多 learning, 有 很多 可以 去 借鉴 的 东西。
你 拆 G P 的 大 爆发 的 时候, 你 当时 在 干嘛?
我 当时 其实 就是 在 筹备 现在 这个 东西 去 找人, 一方面 就是说 去 组建 团队, 另一方面 就是 去 碰撞 一些 新的 认知。
你那 时候 就 筹备 了, 在 22年底。
对, 其实 22年底 就 开始 筹备, 然后 二三年 年初 就 开始 拿到 这个 房顶。
那 他 爆发 的 时候, 你 当时 什么 反应 呢? 就 拆出 出来 的 那一晚。
肯定 还是 很 激动 的, 因为 这个 是 我们 很 关注 的 一个 方向。 因为你 如果 放到 三五年 前, 你 就 放到 21年, 这个 事情 它 可能 都是 很 不可思议 的。 比如说 你 让 他 写 一段 代码, 什么 李白的 古诗 去 注释 什么 这种 高阶 的 推理 能力, 我 认为 在 之前 是 很难 做到。 所以 我 觉得 还是 一个 很 激动 的 心情。
我 当时 就是 感觉 说 可能 这个 市场 会 发生 很多 变量, 一方面 是 资本 的 变量, 一方面 是 人才 的 变量。 因为 这 两个 其实 是你 去做 A I 的 核心 的 生产要素。 那 如果 这些 变量 成立, 我们 就有 可能 能 正儿八经 的 又 搞 一个 公司 来 真的 做 这个 事儿。 因为我 觉得 之前 更多 的 还是 说 你 用 各种 方式, 它 并不是 一个 真正 为了 这个 东西 而 做 的 组织。 但 我 觉得 如果 这个 东西 效果 很好, 那 它 应该 是 会 产生 这个 变量。 你 一个 真正 为 搭建 的 组织 从 0到1 去做, 我 觉得 它 可能 会 存在 这样的 可能性。 我 觉得 这个 是 可能 当时 的 一个 很大 的 一个 顿悟, 就 突然 觉得 好像 这事 可以 做, 但 有可能 可以 带给 一些 之前 没有 check 的 box。
你 之前 在 美国 的 时候 跟 sam 和 ela 接触 吗? 没有, 所以 是在 chat p 出来 的 时候, 你 意识到 可能 就是 在 外面 成立 一家 独立 的 公司 去 追求 A G F 是一个 更 make sense 的 方式。
对, 独立 的 公司 这个 事情 我 一直 都 觉得 很 make sense。 但是 这个 事情 它 需要 一些 变量, 不是说 你 想做 这样 就能 做, 他 得 有 还是 我 刚 说 的 两个 生产 要 齐全。
你是 说 拆 GPT 让 这个 变量 出现了。
对, 是的。
因为 资本 开始 非常 的 热 捧 这个 方向。
它 本质 上 是 起到 一个 教育 市场 的 作用。 还是 要 ride wave, 大势所趋, 我 觉得 这个 是 很 重要 的。
所以 你是 先 有了 创业 的 想法, H B 出现了 根尖 的 这个 想法。
我 一直 觉得 是 需要 一个 这样的 公司, 但是 更多 的 是在 看 到底 什么时候 时机 能 更加 成熟。
那你 决定 只要 出来 做 这样的 一家 公司 以后, 你 做了 哪些 事情 呢? 你 怎么 去 凑齐 这些 生产要素, 包括 资本 和 人才。
还是 一个 比较 曲折 的 过程。 因为 它是 本质 上 就是说 这个 事情 它的 扩散, 它 需要 一些 时间 的, 做 产品 是 很 重要 的 好吧。 因为 可能 有的人 可能 知道 的 早 的 人 可能 知道 的 晚。 有的人 可能 一开始 怀疑, 到 后来 变成 震惊, 到 后来 变成 相信, 总会 有 这样的 过程, 你 就要 去 找人 找钱。 我 觉得 这 两个 事情, 一个 跟 产品 结合 的。
很 紧 的 事儿。 举 个 例子, 就像 我们 当时 二月份, 二月份 开始 很 集中 的 去做 第一轮 融资, 其实 这个 窗口 我 觉得 其实 是 比较 短 的。 如果说 你 比如 delay 到 4月份 去做 第一轮, 我 认为 基本上 已经 没有 机会。 对, 但 你 如果 是 12月份 或者 一月份 去做, 你 也没有 机会。 因为 当时 还有 copy, 还有 whatever 一堆 各种, 但 还没 反应 过来, 所以 其实 真正 的 窗口 就是 一个月。
是 国内 其实 是 二月份 报 的, 前年 11月份 的 时候 是 还没有 什么 反应 的。
所以 真正 其实 窗口 就是 一个月。 我 当时 在 美国 有一个 晚上, 我 就 做了 一个 精确 的 计算, 算 完了 之后 我 觉得 至少 我们 要在 几个 月内 拿到 1亿美元。 当时 市场上 还有 很多人 没有 开始, 你 其实 是 很难 预测 的, 就 当时 很多人 觉得 你 这个 可能 不一定 能 融 到 这么 多 钱。 但是 后来 其实 证明 实际上 是 可以 的, 而且 甚至 可以 比 这个 还 更多。 我 觉得 这 里面 就是 会有 一个 navigate 的 过程。
总结 下来, 我 觉得 可能 排名 还是 确实 很 重要 的。 一方面 是 融资, 一方面 也是 招 人。 因为 发现 人才市场 也 开始 有 很多 流动, 大家 其实 会 开始 受到 这个 东西 的 启发, 可能 觉得 这个 有可能 是 接下来 十年 一直 在 做 的 事情。 这个 判断 其实 很多人 大概 在 三月份 或者 四月份 的 时候 开始 有 这样的 一个 realization。 还是 你 要在 正确 的 时间吧, 因为你 要在 这个 时间 去 积极 的 触 达 对的人。
当然 因为 我们 这个 圈子 本身 比较 近, 所以 可能 也会 有 一些 优势, 这个 是 很 关键 的。 因为 比如说 如果 是 前 两年, 我 认为 人才 的 聚集 度 就 不会 有 这么 高。 因为 那个 时候 可能 更多 的 人才 会 是在 比如说 做 一些 传统 的 A I 的 事情, 或者说 可能 做 一些 跟 A I 相关 的 业务。 但是 它 不是 真正 的 通用 的 A I, 就 因为 以前 不存在 这个 行业。
所以 都是 说 非常 垂直 的 业务。
对对对, 因为 传统 A I 就是你 一个 问题 的 解决, 这个 是 两个 很大 的 变量, 我 觉得 是 二三年 可能 最 有意思 的 地方。
你 在 美国 那一晚 是 在哪儿 算了 一笔 账, 怎么 算 的?
算 一下 你 对应 多少 flops, 要 多少 training cost influence, 然后 多少 用户量, 这些 东西 可以 一定 的。
计算 是 在哪 算 的。
就在 我 住 的 地方。
我的家 算 的。 对对对, 你那 时候 还没有 回国。
我就是 当时 在那 待 了 一段时间, 也是 找 个人 来 聊 一 聊。
聊 了 多久, 那次 去 可能。
一两个 月1个月 左右。
其实 就是 查 GPT 出来 以后, 大概 对对对。
大概是 22年底 开始, 二三年 初 那时候。
是一个 什么样 的 状态?
硅谷 那个 时候 就说 这个 产品 开始 有 很多 early adopters, early adopters 集中 在 技术圈。 然后 一旦 因为 我们 本身 在 这个 圈子 里面, 所以 感受 会 更 深刻。 就是 开始 有 很多人 用 这个 东西 去 写 他们 那个 performance review。 就是 因为 很多 硅谷 大厂, 他 不是 要 每半年 要 写 一下 绩效 的 review 这些 东西 就是 发现 你 平时 写 的 可能 都是 那个 语言, 感觉 不大 professional, 才 开始 很多人 用 那个 去 写写 完 就是 大家 都是 一本正经 的 样子。 就 开始 有 很多 这样的 use case。
就是你 感觉到 行业 在 变化, 很多人 在 考虑, 那 我 下 一份 工作 要 去 哪? 包括 很多人 在 考虑 创业 的 事情, 很多 当时 我们 聊天 的 朋友 后来 也都 纷纷 开始 创业。 对我 觉得 就是 能 看到 一个 暗流涌动 的 感觉。 一方面 是 很多 用户, 另一方面 就是说 作为 圈里 的 人, 大家 可能 开始 思考 接下来 应该 怎么做, 也 意识到 这个 有可能 真的 是一个 时代 的 开端。 然后 都有 很强 的 formal 情绪, 所有人 每天 都 睡不着 觉。 就是你 不管 晚上 12.1点2点 你 去 找 O O S, 大家 都在 想 这些 问题, 有点 焦虑, 有点 疯狂, 但是 又 很 兴奋 的 感觉。
你是 那天 算 到 几点, 算了 1亿美金 出来。
计算 的 过程 的, 不用 算 很久, 但是 算 完 我也 不能 跟 太多 人 说, 因为 说 也没有 人 觉得 这 事儿 可以 做, 也是 一步一步 去 达成 这个 目标 的 过程。
对你 是在 那个 氛围 中 决定 了 你回来 就要 开始 融资。
其实 在 美国 就 开始了, 当时 就 开始 弄 了。 二月份 的 时候 面 美国。
找到 投资人 了 吗?
当然 也有 一些 是 远程 的, 还是 国内 的。 当然 我们 最后的 肯定 很多 是以 国内 的 为主 的。
你 二月份 的 是 那 叫 天使 轮 吗? 你们 这个 行业 的 融资 已经 超乎 了 大家 对于 对等 融资 轮次 的 认知 了。
对, 那 也是 第一轮。
好, 第一轮 融 了 一 亿美金。
第一轮 还没有, 但是 后来 是 肯定 超过 这个 数。
融资 轮次 能 跟 我 讲 一下 吗?
一共 两轮, 但 我们 现在 在 做 第三 了, 可能 很快 融资 规模 也 我们 现在 官方 的 口径 是 接近 近 20亿人民币.
两轮 加起来 近 20亿人民币。
对对对, 但 我们 现在 也 在 做 新的 了, 可能 我 觉得 这个 数 没有 那么 重要, 因为 很快 就会 被 刷新。
反正 就是 36轮了。 那 前两轮 都是 上半年 融 的 吗?
到 下半年, 下半年 基本 第二轮 弄完。
因为 有人 跟 我, 比如说 下半年 已经 没有人 投 这个 行业 了, 他们说 的 是 假的。
对 吧? 还是 有, 但 你 确实 能 看到 一些 情绪 的 变化, 但 这个 肯定 不是说 没人 投, 至少 目前 看起来, 市场上 的 这个 投资 意向 还是 蛮 多 的。
二月份 是 融资 的 窗口期, 3 4月份 是 招 人的 窗口期。 差不多 你 在 二月份 的 时候 达成 了 第一轮 融资, 3 4月份 把 团队 差不多 建起 了 差不多。 对, 你 在 团队 上 是 怎么 思考 的? 因为我 觉得 你 很 在意 这个 组织 的 搭建。
我 觉得 招 人 肯定 是 这 里面 核心 的 核心。 如果 没有人, 他 这个 就 谈不上 组织。 你就是 用上 你 最高 超 的 管理 技巧, 他 也 没用。 因为 人 不对 的话, 你是 管不了 的。 这个人 肯定 是 很 重要 的 一个 因素。
我们 其实 在 这 里面, 我 觉得 其实 思路 也 发生 一些 变化。 因为 这个 世界上 的 A G G I 人才 是 非常 有限, 说 你 真正 有 这方面 经验 的 人是 很少。 所以 我们 一开始 其实 更 专注 的 是 说 直接 找 这种 对口 的 genius。 我 觉得 这个 是 我们 最 早期 的 这种 画像, 这个 事实证明 也 非常 成功。 因为 我们 可以 去 利用 这个 东西。 比如说 你 之前 确实 有 这种 对模型 去 动手术 的 能力, 你 有 这种 训练 超大规模 的 直接 的 经验, 你 就可以 很快 的 做出来。 后来 的 包括 我们的 这个 P B 的 产品, 发布会 中间, 其实我 觉得 整体 的 资本 效率 和人 组织 的 效率 是 非常 高 的。
花了 多少钱? 资本 效率 其实 没 多少钱。
可能 是一个 挺 小的 数, 这样 相比 于 很多 其他 的 花费, 花 小钱 办 大事儿, 我们 其实 也 在 很长 一段时间 就 三四十个 人的 状态。 现在 多少 了? 现在 可能 80.
那 还是 相对 是 少。
的对 我们 刻意 还是 去 追求 人才 密度, 我们是 不大 希望 有 太多 的 人。 现在 更多 的 还是 说 你 怎么能 用 最少 人, 用 最高 的 效率, 用 正确 的 方式。 像 google 它 现在 有 好几千 人 在 干 这个 事儿。 他 如果 把 它 砍成 100人、 50人我 觉得 他 可能 很快 就 成功了。
这个 是 最 早期 我们 关注 的 东西。 还是 要 追求 上限。 你的 上限 是 说 公司 的 上限, 是 人的 上限 决定。 所以 我们 招 了 很多 这种 genius, 我 认为 它的 上限 很高。 到 后面 我们 就 开始 去 补齐 更 多维度 的 人, 产品运营 侧 的 人, 可能 得 有 更多 的 leader 型 的 人才, 还有 很多 这种 animal, 你是 可以 把 事情 做得 非常 极致 的 人我 觉得 我们在 很多 上线 上 做了 很多 的 补充, 所以 可能 现在 会 是一个 更加 完整, 更加 有 韧性, 更加 能 打仗 的 一个 团队。
Genius 占 比 多少?
每个人 多多少少, 只是 说 我们 可能 会 考虑 更多 的 维度, 它 不是 一个 非零 即 一 的, 我们 需要 让 这个 事情 更 综合。
卡 的 问题 你是 怎么 解决 的?
这个 曲折 吗? 就 中间 其实 会有 很多 black and force。 因为 这个 市场 是在 动态 的 变化, 所以 你 会有 一段时间 好像 就是 很 紧张, 有 一段时间 其实 你 发现 供应 会 变 好在 里面 就 每天 可能 都要 去 调一 调。 就 根据 今天 的 市场 情况 要 看一下 你的 策略 要不要 做什么 调整。 所以 我 觉得 中间 其实 是 很 考验 这种 快速 的 应对 的 能力 的。 不过 好消息 就是说, 其实 最近 我 觉得 整个 市场上 的 这个 供应 都 好了 非常 多。 所以 我 个人 判断 就是说 接下来 大 概率 卡 的 事情, 它 不会 成为 一个 很大 的 瓶颈。 至少 在 接下来 可能 1到2年 的 时间。
它的 这个 动态 因素 是 受 什么 变化。
就 会有 geopolitical 的 原因, 比如说 像 那个 executive order, 然后 也 包括 因为 生产 它 本身 有 一些 批次, 就是你 有一个 东西, 比如说 生产 出来, 然后 开始 交付 了, 那你 市场上 的 供应 就 会好 很多。 那 也 包括 也 说到 这个 市场 情绪 的 变化, 可能 我们 观察 到 已经 有 很多人 开始 很多 公司 已经 开始 在 退 卡 了。 因为他 发现 他 可能 也不 一定要 自己 去 训 这个 模型。 所以 很多 市场 情绪 和 大家 的 决策 发生变化, 你的 供求关系 也会 发生变化。 所以 这些 东西 它 都是 很 综合 的, 甚至 最 夸张。 我 觉得 有 一段时间 其实 可能 每天 都在 变 的。 今天 可能 一台 机器 价格 是 260, 明天 可能 变成 340了, 但 你 可能 过 两天 又 跌 回来。 所以 它是 一个 很 动态变化 的 过程, 所以 要 对 这个 事情 是 很 密切 的 去 关注, 去 调整 的 策略。
哪 段时间 是 变动 特别 大 的?
可能 两三个 月前, 那个 时候 是 可能 变动 比较 大 的。 现在 我 觉得 相对于 稳定 很多 供给 市场上, 我 就 开始 出现 非常 多 的 供给。
这个 有意思。 除了 资本 和人, 你 还 做了 什么 关键 的 决定 吗?
在 上半年 那 就是 要 做什么 事情, 我 始终认为 这个 是 我们 这类 公司 一个 很大 的 优势。 我们在 最高 层面 的 决策 是 有 技术 vision 的, 这个 事情 我 觉得 是 我们 最大 的 一个 优势。 比如 我们 其实 之前 像 做 这个, 比如说 long context, 去做 这个 技术 的 时候, 其实我 我 认为 就是说 他 其实 需要你 对 未来 是 有 看你 要 知道 他 什么东西 是 根本 的, 可能 是 接下来 的 方向, 有可能 你 解决 了 这些 问题 之后, 很多 现在 的 问题 也 不存在, 这 还是 第一性 原理。
我 刚刚 讲 的 我就是 去 雕花 的 过程 其实 就是这样。 我 觉得 这个 是一个 很 重要 的 事情。 但 你 如果 只是 专注 雕花 的话, 其实 你 就 很难 做。 你 只能 看到 就是说 我 现在已经 做了 这个 事儿, OK 我 就 看 怎么 把 它 已经 做出来 的 事情 做出来。 但是 比如说 像 我们 去做 这种 长 文本 的 无损压缩 能力, 在 这 kimi 里面 去做 这样的 一些 能力 之后, 你 就 发现 产品 上 的 体验 它是 很 独特。 就 比如 今天 你 去 读 英语 的 这个 文献, 它 能 很 好的 帮助 你 理解, 并且 真的 是 能够 很 真实的 还原 里面 所有的 这个 信息。 这个 点 其实 说 你 即使 今天 用 cloud 或者 像 P D four 这样的 模型, 它 可能 都 不一定 能 做得 非常 好。 所以 这个 其实 是 需要 提前 去 布局。
因为 这个 技术 我们 已经 做了 半年 多了, 所以 我们在 这 里面 做了 非常 多 的 迭代 和 优化 和 创新。 相比 于 我 今天 可能 看到 一个 所谓 long context 的 风口, 然后 我 赶紧 召集 两个 团队, 然后 马上 用 最快的速度 去 开发, 是 他 就 会有 很大 的 区别。 当然 我 认为 今天 可能 你 这个 马拉松 还是 刚 开始, 我 觉得 接下来 其实 还是 会有 更多 的 差异化 的 东西 可以 去 呈现 出来。 这个 其实 是 需要 你们 提前 预判, 到底 什么样 的 事儿 是一个 成立 的 非 共识。 我 觉得 这个 是 我们 一个 很大 的 机会 做。
这件 事情 是 几月份 决定 的?
我 觉得 基本上 公司 成立 的 时候。
就 决定 二月 还是 前年。
就是 2 3月份.
2 3月份 就 决定 要 做 这件 事情。 所以 这个 技术 做了 半年, 下半年 推出。
我 这么 理解 对 吧? 差不多。
对, 为什么 第一件 事 是 做 长 文本 呢?
因为 它 很 本质, 就是说 登 月11部 这样 理解, 就 它是 新的 计算机 的 一个 内存。 因为 你老 了, 计算机 的 内存 其实 就是 在 过去 的 几十年 里面 可能 涨 了 好几个 数量级。 我 觉得 一样的 事情 肯定 是 会 发生 在 新 计算机 上, 它 能 解决 很多 现在 问题。 比如说 现在 你的 多 模态 的 架构 里面 可能 还需要 token ized。 但是 当你 有一个 足够 真正 无损压缩 的 long contest 之后, 你 就 不需要 了, 因为你 就可以 把 原始 信号 弄 进去。 所以 再进一步 讲, 它 其实 是你 把 这个 新的 计算 范式 变得 更 通用 的 一个 基础。 比如说 你看 旧 的 计算机, 就 你可以 用 零一 去 表示 所有的 事情, 所有的 东西 都 可以 被 数字化, 数字化 就是 把 它 变成 一个 01的过程。 但 今天 就是说 你 这个 新 计算机 可能 还 不行, 它 实际上 还没有 那么 通用。 没有 那么 通用 是因为 你的 consents 不够。 很多 情况下, 所以 我 觉得 一是 它是 解决 这个 通用 的 问题, 就是 你们 最后 变成 一个 通用 的 世界 模型, 也是 需要 run context 的。
然后 我 觉得 第二点 是 能够 做到 真正 的 个性化。 因为我 觉得 A I 最终 最 核心 的 价值 实际 是一个 个性化 的 互动。 就是 它的 最 核心 的 价值 落脚点 是在 个性化 上, 它 会 比 上 一代 的 这些 推荐 引擎 更加 个性化, 就是 A G I 这个 事儿。 但 它 个性化 的 过程 不是 通过 微调 实现 的。 它 不是说 我 去 微调 一个 模型, 今天 专门 为你 调 一个 模型, 它 不是 这种 感觉, 还是 说 它 应该 能够 去 支持 一个 很长 的 context。 这个 context 它 就 比如说 你 跟 这个 机器 的 所有的 历史, 他 可能 都是 这个 context。
这个 context 本质 上 就是 它 定义 了 一种 个性化 的 过程, 而且 是 无法 被 复刻 的。 而且 它 会 是 更 直接 的。 因为 它是 这种 直接 的 对话, 这种 对话 它 会 产生 非常 多 显示的 这个 信息。 所以 如果你 从 这 几个 点 去 想 的话, 你 会 发现 它 其实 是一个 非常 本质 的 技术。
接下来 它的 可 扩展 的 空间 是什么? 有 多大? 这样的 就是 这个 技术 是 你们 解决, 但是 别人 没有 解决, 对 吧?
我们的 无损压缩 就在 长 文本 上面 的 这种 无损压缩 的 性能 现在 是 最好的, 但是 还有 很大 的 空间。 这 里面 有 两方面, 一方面 就是说 你 本身 这个 窗口 的 提升, 这个 窗口 的 提升, 它 还 会有 很长 的 路 要 走。 所以 这个 是一个 方面 说 你 可能 接下来 会有 几个 数量级, 我 认为 第二个 就是说 你 不能 只 提升 窗口, 这 不能 只看 一个 数字, 不能 今天我 是 说 我是 几百万 还是 多少 亿 的 窗口, 它是 没有 意义 的。 你 要 能 看看 他在 这个 窗口 下面 能够 实现 的 推理 能力, 能够 实现 的 这种 faceoff lace 的 能力, instruction following 的 能力 跟 它是 相结合 的, 就 不应该 变成 一个 只 追求 单一 指标 的 东西。 那 它 应该 是一个 有 这个 指标, 但是 同时 你 也 需要 很强 的 能力。 我 认为 这 两个 维度 都会 持续的 提升, 而且 有 非常 大 的 空间。
在 当前 的 这种 情况下, 我 刚 说 的这 两个 方向 你 如果 做好 了, 他 就能 做 非常 多 的 不同 的 事情。 他 可能 就可以 follow 一个几万 字 的 instruction。 这个 instruction 本身 它 可能 就会 定义 出来 很多 不同 的 agent, 它是 可以 去 做到 高度 的 个性化 的。
我们 做 这件 事情 和 追赶 GPT4 技术, 它们是 可 复用 的 吗?
它是 一件 事儿 吗? 我 觉得 还 不是, 它 更多 的 是 一个双 维, 它是 一个 新的, 它是 可能 是一个 GPT four 没有 的 维度。
因为 很多人都 说 国内 的这 几家 大 模型 公司 做 的 事情 都是 差不多 的。 去年 追赶 GPT3.5, 今年 就是 追赶 上 GPT4。 你 认可 这种 说法 了。
我 觉得 综合 能力 的 提升 肯定 是一个 很 关键 的 目标。 所以 我 觉得 这个 说法 在 一定程度 上 它 也是 对的。 在于 说 你 本身 要 提升 综合 能力, 在 你是 是 后发 的 情况 肯定 是一个 追赶 的 过程, 它 可能 也是 片面 的。 你 其实 可以 看到 除了 综合 能力 之外, 其实 在 很多 空间 也是 可以 产生 出来 独特 的 能力, 能够 在 一些 方向 做到 c of the art, 能 做到 真正 的 世界领先, 我 觉得 能 看到 这样的 机会。
这个 open I 没 做到, 我 觉得 他 今天 的 很多 这种 长 文本 的 效果 其实 是 没有 那么好。 我们 做了 非常 多 的 测试, 但 我 觉得 这 是一个 维度, 其实 剩下 还 可能 有 很多 维度。 比如 我 举 个 例子, 就是说 像 daily 3, 它 今天 的 图片 生成 效果, 它是 完败 于 journey v six, 对 吧? 我 觉得 这个 也是 另外一个 维度, 就是 可能 会 存在 很多 这种 维度。 所以 我 觉得 这 事儿 得 一分为二 来看。 就是说 你 一方面 是 综合 能力, 另一方面 除了 这些 综合 人员 之外, 你 可能 还 会有 新的 维度。 这些 新的 维度 就是 你是 有可能 能 做到 领先 的 综合。
能力 和 新的 维度。 你 分别 用 花 的 时间 以及 你 耗费 这种 生产 资源 大概 有 多少 比例。
包括 人和 钱, 我 觉得 很多 东西 它 也是 需要 结合 的。 因为 你的 维度 不可能 脱离 综合 能力 存在, 可能 很难 直接 给 出来 一个 这样的 比例。 但是 你 肯定 需要 足够 的 投入, 你 才能 把 这个 新 维度 做好。
对, 那你 会 all in 去 追赶 这个 第四 吗?
这 事儿 肯定 是一个 必经之路, 但是 我 觉得 我们 可能 核心 的 点 是 不能 只是 满足 于 做到 GPT4 的 效果。 一是 要 想 现在 的 真正 的 非 共识 是什么? 就是你 除了 GPT4 之外, 你 下一步 是什么? 5和6应该 是 什么样 的 东西。 然后 第二步 是 说 去 看你 在 这 里面 可能 会有 有 哪些 独特 的 能力, 我 觉得 这个 是 更 重要。
其他 家 很多 时候 会说 自己的 模型 能力, 排 个 榜 就 去 排名。 说 到了 3.5 巴拉巴拉 或者 接近 四 之类 的, 我看 你们 好像 没有 做 这件 事情。
你怎么看? 我 觉得 刷 榜 的 意义 已经 很少 了, 最好的 榜 就是 用户。 应该 让 用户 去 投票, 让 用户 真正 喜欢 你的 产品, 以及 应该 是 说 喜欢 有你 这个 技术 能力 带来 的 产品 体验 的 提升。 我 觉得 这个 是 更 本质 的。 因为 现在 的 很多 绑 存在 着 非常 多 的 问题。
最快 达到 G B 4在这 几家 公司 中 会 是你的 一个 目标 吗? 早 一点 晚一点 有 区别 吗?
我 觉得 肯定 有 区别。 因为你 如果 把 这个 时间 放到 足够 长 的 周期 来看, 那你 最终 所有人 都能 达到, 对 吧? 所以 就是 要 看 你的 这个 早晚 的 是 多长 的 一个 周期。 我 认为 可能 比如说 你 半年 或 以上 的 这个 周期, 它是 有意义 的。 但 同时 也 取决于 你 能 利用 这个 周期 去 做什么 事情。
所以 你是 两条腿 的对 吧?
很大程度 上 其实 它 也是 相辅相成 的。 对我说 到 刚才 的 timing 的 问题。
23 4月份 都是 很 有 热情 的。 那 后来 年终 开始 转 冷, 你 对 这个 周期 的 感知 是 什么样 的? 什么时候 这个 市场 凉 掉了?
我 觉得 的 判断 我 还 不完全 认同。 因为 我们 确实 在 上半年 也 完成 了 一轮 融资。 客观事实 表明, 因为 大家 的 反应, 有的人 快, 有的人 晚。 有的人 可能 一开始 就 很 充满 激情 的 决定 all in。 有的人 可能 想 了 一下 觉得 要 all in。 有的人 可能 一开始 觉得 这个 不行, 后来 觉得 还 可以。 有人 可能 直到 今天 还 觉得 我靠 这 玩意儿 可能 不成立。
所以 其实 你 就 发现 又会有 新的 东西 出来 的。 我们 今天 用到 的 这些 模型 的 能力, 其实 你 在 去年 年底 都是 无法 想象 的。 去年 就 可能 很多人都 已经 忘了, 一开始 那个 ChatGPT 是 什么样 的 用户体验。 那个 时候 你 觉得 很 惊喜, 但 他 还有 很多很多 很 低级 的 问题, 今天 可能 已经 少了 很多。 所以 我 觉得 本身 这个 领域 动态 发展, 你 也可以 看到 有 很 越来越多 的 A I 公司 的 用户量 和 revenue 一直 在 上升。 所以 我 觉得 他 其实 已经 是 持续的 证明 了 价值。
你 要 到 什么时候 达到 9D4, 你的 目标 是 什么什么 时间点?
我 觉得 我们 应该 会 很快, 但是 具体 的 时间点 我们 现在 可能 还没有 办法 对外 去 说。
你 会 是 最快 的 吗?
这个 事情 可能 确实 还要 动态 的 去 看我 觉得 我们 有 概率。
那你 觉得 去年 上半年 和 下半年 对于 你 来说 的 不同 的 感受 是什么?
其实我 觉得 没有 什么 太大 的 变化。 很多 外部 的 环境变量 肯定 是 存在 刚刚 说 的卡、 钱、 人 这些 东西 它 肯定 一直 在 变。 核心 还是 又 回到 第一性 原理, 就是 怎么 给 用户 提供 一个 更好 的 产品。 那 这个 产品 背后 需要 做什么 能 让 它 变得 更好。 最后 就是 回归 到 思考 这 一个 很 简单 的 问题, 再 把 它 拆解 成 你 要 做 的 事情, 我们 要 持续的 去做 这个 事儿, 对的 方式 去做 这个 事儿。 那 最终 其实 还是 我们 要 跟 user driven。 你 真正 是 满足用户 的 需求, 而 不是 去 赢 一场 比赛, 或者 是 为了 竞争 而 去 建立 这个 公司, 我 觉得 那个 都 不是 我们的 初衷。
登月 的 第一步 是 长 文本。
第二步 是什么? 我 觉得 接下来 会有 两个 大 的 now stone, 一个 是 真正 的 统一 的 世界 模型, 它 统一 各种 不同 的 模态, 就是 一个 真正 的 scalable 和 general 的 architecture。 第二个 就是 能 在 没有 人类 数据 输入 的 情况下, 能够 A I 持续 进化。 而 我 觉得 接下来 可能 最 重要 的 两个 milestone。
对于 你 来说, 对于 月 之 安眠 这家 公司 来说。
我们会 去做 这 两个 事情。 我 觉得 剩下 很多 问题 都是 这 两个 因素 可以 推导 出来 的。 只要你 解决 这 两个 问题, 其实 很多 别的 问题 都 可以 被 解决。 就是 我们 今天 谈到 的 很多 reasoning, 这些 agent 这些 问题, 它 其实 都是 这 两个 问题 的 解决 之后 的 产物。 可能 可以 要 再做 一些 雕花, 但是 可能 就 没有 fundamental locker。
在 做 kimi 之前, 你们的 我 理解 北极星 指标 都是 为了 这个 产品 去 设计 的。 推出 kimi 之后。
那就 把 产品 做 的 更好。 因为我 觉得 今天 还在 一个 快速增长 的 阶段, 我们 可以 看到 用户 他 能 自发 的 发明 很多 case, 找到 越来越多 的 场景。 我 觉得 现在 肯定 就是 继续 把 产品 做好, 做 更多 的 升 维。 升 维 就是 我们 刚刚 讲 的 这些 独特 能力。 对我 觉得 这些 能力 还是 很很 受限 的, 他 还有 很多 新的 维度 可以 去做, 也是 他 不应该 只是 去 卷 一个 搜索 的 场景 就 搜索。
我 认为 在 后面 可能 它 只是 会 是 这个 产品 的 很小 的 一部分, 是 里面 有 价值 的 一部分。 但是 它 应该 这个 产品 有 更大 的 增量, 你就是 一个 颠覆性 的 东西, 它 才 配 的 A G I 这 三个字。 否则 我们 今天 所有 说 的 这些 事情 都 没有 什么 意义。 因为你 可能 比 传统 的 搜索引擎 好 个 10%、 20%, 我 觉得 这种 是 没有 什么 太大 的 价值。 所以 身为 做 的 事情 就是说 可能 这个 是一个 场景, 对 吧? 但是 你 可能 还有 很多 别的 能力, 最终 它 产生 的 独特 价值 是你 能够 去 提升 很多。
你 独特 价值 是你 增量 的 智能。 我 觉得 要 抓住 这个 点就 智能 永远是 最 核心 的 增量 价值。 所以 如果你 这个 产品 的 最 核心 的 价值 可能 只有 10% 或者 20来自于 这个 A I, 那 它 可能 就 这个 事儿 它 就 不成立。 就是说 今天 可能 很 重要 的 点 是 去 找到 这些 新的 维度 是什么。
我 想到 上半年 和 下半年 一个 很大 的 区别 是 大家 关注 的 方向 不一样。 上半年 大家 其实 提 通用 人工智能 这件 事情 更多, 下半年 都在 讲 怎么 落地, 怎么 商业化, 所有 其他 公司 都在 讲 这件 事情, 你是 怎么看 这个 问题 的, 以及 你 有没有 这么 做。
我 觉得 我们 没有 什么 变化, 我 觉得 肯定 还是 要 做 A G I。 这个 事情 是 接下来 十年 唯一 有意义 的 事情。 但 不是说 我们 不做 应用, 或者 不应该 把 它 定义 成 一个 应用。 应用 听起来 好像 就是说 你 有一个 技术, 你 想 把 它的 应用 在 什么 地方, 要是 有 商业化 闭环 的, 听起来 像是 一种 这样的 感觉。 但是 对 我们 来讲, 我 觉得 它 不是 应用, 有可能 就 应用 可能 不是 一个 准确 的 词。 实际 我 觉得 更 准确 的 词 就是说 它 跟 A G I 应该 是一个 相辅相成 的 关系。 它 本 是你 实现 A G I 的 一个 手段, 也是 实现 ai 的 一个 目的。 它 不光 只是 目的, 因为 你说 应用 好像 听起来 是个 目的 的, 我是 为了 让 它 有用。
在 商业 社会 有 应用 和 商业化 就是 他们的 目的。 对。
大多数 情况 是 这样的 逻辑, 但 它 其实 也是 一个 手段。
在 你的 思维 里 还是 个 手段。
但 其实 手段 也是 目的。 所以 我 刚才 说 其实 你是 要 combine 两种 东西方 的 哲学, 你 要 赚钱, 你 还是 要有 理想。 我 觉得 这 两个 东西 它 其实 是 相辅相成 的。 因为 今天 用户 可能 帮 我们 发现 很多 我们 可能 从来 没有 考虑 过 的 场景。 他 拿 这个 东西 去 筛选 简历, 而且 筛选 的 还 挺 准, 最后 可能 跟 他 真的 人工 去 面试 之后 得到 的 结果 是 差不多 的那 这个 东西 其实 就是说 你 在 设计 这个 产品 的 过程中, 其实 你是 从来 没有 想 过 的。 我们 都 没有 优化 过 这个 场景, 那那 就是 天然 的 work。 这个 过程 其实 你 发现 用户 其实 可以 给你 很多 新的 输入, 而且 输入 反过来 就 你 又 可以 让 这个 模型 变得 更好, 有一个 很 好的 阵地。
说 像 比如 像 m journey, 今天 他 为什么 效果 这么好? 我 觉得 本质 上 是 他在 用户 这 一端 去 做了 skating。 就 用户 的 skating 跟 model skating 本身 这 两个 事情 可能 是 需要 同时 去做。 但是 你 如果 只 关注 应用, 不 关注 模型 能力 迭代 本身, 你 不 关注 A G I 了, 那 我 觉得 空间 也很 有限。 它 不是说 不成立, 你 可能 会 存在 一些 商业 上 成立 的 东西。 比如 举 个 例子, 假 这 你 今天 能 找到 一个 场景, 从 0到1 的 是一个 相对 可行 的。
用 现在 的 技术 能力 情况下, 而且 增量 价值 巨大, 同时 从 一到 N 的 空间 可能 又没 那么 大, 那 这种 场景 我 觉得 是 O K 的, 我 举 个 例子, 就像 今天 jie 可能 就是这样 的, 或者 你 去做 一个 什么 文案 生成, 就 相对 简单 一点 的 任务。 但是 你 从 0到1 效果 也很 明显, 因为你 之前 从来 做不了, 你 之前 的 技术 都 做不了。 那 这种 其实 它是 存在 这种 只 关注 应用 的 机会。 但是 我 认为 最大 的 机会 可能 不在 这儿。 最大 的 即使 就是 你的 目的。 假设 你是 商业化, 你是 不可能 脱离 A G I 去 思考 这个 事情。 现在 只 做 应用, 可能 过了 一年 你 发现 就 被 碾压 了。
直接 降 维 打击 了。 他 可以 偷偷 把 它的 底层 模型 换 一个。
那你 这个 就 不可能 做 的 比他更 大。 所以 A G I 还是 基础, 就是 在 一切 的 变量 里面, 技术 是 这个 时代 唯一 新的 变量。 就是说 回到 第一性 原理 来讲, 它 肯定 是一个 核心, 也是 基于 这个, 我们 其实 可以 推导 出来, 你 超级 应用 肯定 是 需要你 有 最强 的 能力 技术 能力 的对。
没有 技术 能力 去 找 超级 能力 是 不可能 的。
我 觉得 是 不可能 的。
他 可以 用 开源 的 模型 不行 吗?
因为 开源 是 落后 一批 人, 这也是 个 事实。
这 会不会 是 短暂 的?
目前 看起来 好像 不是。
为什么 开源 追不上 闭源?
因为 开源 的 开发方式 跟 以前 不一样 了。 以前 是 所有人 都 可以 contribute 到 开源 里面。 现在 你 开源 本身 还是 一个 中心化, 它是 需要 资源 的, 需要 人才 的 聚集, 你 需要 资本 的 聚集, 那 最后 他 就是 必然 更好, 他 就会 是一个 consolidation。 然后 另外一个 角度 你 也可以 这样 理解, 只不过 我 今天 有一个 很 领先 的 模型, 我 还 开源 出来, 那 我 大 概率 是 不合理 的。 就是 因为你 本身 是一个 console lida 的 过程 了。
我 昨天 采访 出 效果, 他 有一个 观点, 因为他 只 投 应用, 他 觉得 核心 说 的 就是说 AIGC 的 P M F。 然后 他 觉得 你 十个 人 找不到 这个 P M F, 你 投 100个人 也 找不到。 所以 和 人数 和 成本 没有关系。 不要 去 砸 钱 说 你 要 砸 钱 做大 模型, 做 A I 这是 不可能 的, 关键 是 找 不 找 得到 P M F。 做 P M F 也 不用 烧钱, 因为 成本 不高。 他说 就 拿 拉马 训练 两三个 月 就 足够 了。 你怎么看 他的 这个 观点?
真正 的 就是 A G I 的 上限 是 远高于 我们 现在 看到 的 一切 东西。 所以 我 认为 还是 得用 一个 长期 的 想法。 就是我 我 觉得 A I 不是说 我在 接下来 一两年 找到 什么 P M I, 还是 我 接下来 10年到20年 能够 如何 改变 这个世界。 但是 两种 不同 的 思维, 我 觉得 我们是 坚定 的 长期 主义者。 我 觉得 就是说 你 当你 有 真正 的 H I 或者 真正 更强 的 智能 之后, 就 今天 所有的 一些 东西 都 被 改写。 现在 固然 是 重要 的, 但是 如果 是 着急 的 去 找 一个 P M F, 你 很有可能 最后 发现 又被 降 维 打击 了。
因为 降 维 打击 这个 事情 也 发生 过 很 多次。 比如说 像 以前 可能 很多人 在 这 里面 去做 很多 这种 对话 系统, 就 客服 系统、 对话 系统, 做 那个 slight feeling 这些 东西, 对 吧? 也有 一些 规模 还 不错 的 公司, 那 就是 全 是 教育 打击 了。 因为 不会 有人 再 用 那种 技术 了。
你 技术 已经 发生 了 巨大 的 变化, 就是 以前 这些 东西 都 没法用, 而且 今天 还在 这个 变化 的 过程中。 因为你 还有 越来越 长 的 context, 还有 越 强 的 instruction following 能力。 所以 你 去 定制 一个 客服 系统 的 难度 会 越来越低 的, 准确率 越来越高。 所以 我 觉得 这 是一个 百分之百 的 降 维 打击。 所以 我们 可能 是 更 坚定 的 这种 长期 主义者。
当然 就说 在 里面 这 可能 就 需要 有 一些 长期 和 短期 的 平衡。 你可以 看到 比如 从 3.5到4, 它 其实 已经 解锁 了 很多 应用。 从 4到4.5 再到 5, 我我我 认为 它 大 概率 还是会 持续 解锁 更多, 甚至 是 指数 型 的。 应用 所谓 的 这个 场景 摩尔定律, 你 能 用 的 场景 数量 会 随着 时间 指数 型 的 上升。 我 觉得 这个 还是会 接下来 可能 很 重要 的 一个 趋势。 所以 我们 肯定 也是 要在 这 里面 可能 边 提升 模型 能力, 边 去 找到 更多 的 场景。
比如说 就像 我们 今天 kimi 这个 产品 在 做 的 事情, 我 觉得 需要 一个 这样的 平衡。 但是 最终 的 星辰大海 肯定 是 需要 真正 有 长期 主义 的 人才 愿意 跟 用户 一起 去 长期 的 迭代, 能够 真正 去 探索 下一个 阶段 产品 会长 什么样。 我 觉得 今天 去 下结论 可能 确实 太早。
你 怎么 对抗 国内 的 这种 焦虑 情绪 呢? 他们 所谓 的 可能 你 如果 没有 做出 能 兑现 投资人 预期 的 落地 和 场景 和 产品, 那你 怎么 融 下 一笔 钱 呢? 他们 有 很强 的 这种 焦虑, 其他人。
所以 我 觉得 就是 一个 长短期 的 平衡。 然后 就说 你 这个 投资人 的 选择 可能 也很 重要, 可能 最后 需要 去 结合 这 两个 点。 因为我 像 我 刚刚 说 的, 你 也 不是说 你 这个 东西 没有用。 如果 完全 没有 用户, 没有 收入, 我 觉得 肯定 是 不行。 它 其实 是一个 螺旋。 别看 你 这个 投入 多少 是 分配 在 短期 的 东西 上, 多少 分配 在 长期 的 事情 上。 那 我想说 的 是你 长期 一定 不能 没有 长期。 如果 你的 能力 没有 得到 更多 的 发展, 你 就会 错过 整个 时代。 所以 就是你 要在 你 能 活下去 的 情况 下去 追求 一个 详细 的 东西。 我 觉得 现在 是 核心 是 这样。
你 认可 那个 王慧 文说 的 双轮 驱动 吗?
我 觉得 这 是个 好 问题, 我 觉得 一定程度 上 是 这个 逻辑, 但 就是说 你 真正 在 这 里面 怎么 去做, 我 觉得 是 可能 会有 很大 的 区别。 是不是 能够 真的 去做 一些 有 概率 的 非 共识? 我 认为 它是 需要 你的 组织 真的 是以 这个 为 使命, 而且 是 这样 去 运行 的 才有可能。
我 理解 他们说 的 非 创新 驱动, 其实 很着急 的 要 去 找到 那个 新的 应用 场景。 因为 觉得 没有 那个 应用 场景 的话, 就 不知道 技术 可以 落地。
这个 还是 model skating 和 user skating 之间 的 区别。
或者 能 不能说 这是 学院派 和 他们 我们。
不是 学院派, 学院派 不 word 对。
学院派 绝对 不 word 做 to c 是一个 从 第一天 就 做 的 决定, 不是 中间 想 了 很久 才 做 的 决定。
对我 觉得 是 第一天。
你 很 焦虑 吗?
你可以 过去 一年 我 觉得 更多 还是 兴奋, 还是 很 激动。 因为 这个 事情 我想 了 非常 久, 我 觉得 我们是 可能 最早 想 去 探索 月之暗面 的 人。 你 今天 发现 你 真的 是在 造 一个 火箭, 你 每天 在 讨论 往 这个 火箭 里面 加 什么 燃料, 它 跑 得 更快, 怎么样 不让 它 炸 了。
你 做 的 有 概率 的 非 共识。 什么 叫 有 概率 的 非 共识?
用 你的 先 去 判断 这个 方向, 可能 有 一些 方向 它 其实 是 有 可行性 的。 它 应该 不是说 已经 比如说 open 已经 做出来 的 东西。 因为 O P I 已经 有了 东西, 大家 所有人 都会 去 copy 它, 那 就说 那 它 就 不是 一个 非 共识, 它是 一个 共识。 但 这个 世界上 大多数 的 情况下, 可能 大多数人 还是 只是 会 去做 一个 已经 能 看到 原来 这个 东西 能 做成 这样, 这个 东西 它 就 不是 非 共识。 所以 我 觉得 找到 这些 点 是 最 重要 的, 我们 现在 其实 也是 在 往 这 方向 去 走。
我 总结 一下 你 做 的 许多 的 有 概率 的 非 共识 的 决定。 一个 是 做了 to c 的 产品, 一个 是 做了 长 文本。
我 觉得 这些 算是 我们 很 早就 讲清楚 的 东西。 但 其实 还有 更多 可能 还在 过程中, 我们 希望 尽快 能 跟 大家 见面。
对于 落地 这个 问题 你是 不 焦虑 的对 吧?
就 看你 怎么 定义 落地, 怎么 落地 也有 不同 的 阶段。 比如说 你 有用 马上。
找到 场景。
我 觉得 今天 已经 有 很多 场景 我们 今天 也能 看。 比如说 chat P T 它 有周 活, 有 上亿 的 周 活。 你说 他 没有 场景 是 不可能 做到 这样的 周 活 的那。
国内 的 产品 都 没有。
对 国内 的 产品 我 觉得 其实 我们 已经 能 看到 很多 场景。 虽然 说 现在 还在 很 初期 的 阶段, 但是 你 能 看到 我们 很多 用户 他 粘性 是 很高 的。 比如说 很多 传 文本 的 场景, 他 可能 会 用于 各种各样 的 需求 来 翻译, 去 读 论文、 去 学习、 去 准备 考试, 去做 心理咨询, 就 很多很多 这样的 不同 的 use case。 而且 我们 有 很多 自来水, 它 就会 在 说 media 上去 发, 他们 到底 是 怎么用。 我们 看到 就是 很多 时候 其实 我们 能够 没有 想到。 所以 我 觉得 从 今天 的 粘性 角度 来讲, 其实 是 有 一些 场景 只是 说 我们 还 可以 做 的 更多, 我们 还 可以 把 年薪 做 的 更高。 觉得 已经 看到 了 很 明显 的 迹象。
随着 你 模型 能力 的 提升, 当然 就是 肯定 模型 能力 今天 还是 一个 很 重要 的卡 点。 就是说 C G P 它 粘性 这么 强我 觉得 很大程度 还是 你的 模型 能力 是 更强 的。 我 觉得 这个 事儿 肯定 还有 很多 事儿 要 做, 但是 今天 也有 很多 积极 的 信号。 至少 在 美国市场 里 能 看到 很多 新的 入口, 用户量 很大 的 产品, 包括 实打实 的 产生 用户 的 价值。
当然 我 认同 就是说 今天 可能 是一个 很 早期 的 阶段, 你 可能 还 会有 新的 场景, 是 会 随着 新的 技术 的 发展 被 解锁 的。 就 这些 东西 被 解锁, 它 这个 产品 就 会越来越 出圈。 不管 我们 今天 说 的 性能 问题, 还是 这个 延迟 的 问题, 还是 说 你 在 每个 场景 里面 的 准确率 的 问题, 我 觉得 这些 问题 都 所以 时间 都会 得到 很大 的 提升。
比如说 pollution 这个 问题, 可能 过去 一年 是 完, 比如说 22年底 可能 是 完全 没法 看到。 今天我 觉得 可能 hello stinson 可能 已经 至少 降低 了 数量级 的 降低。 我 觉得 这些 其实 都是 能 看到 的, 我 觉得 是 一致 的。 就是说 你 找 P M F 或者 找 更多 场景 提升 用户 粘性 的 过程, 就是你 能力 提升 的 过程, 它 应该 是 统一 的。
过去 一年 你说 了 一个 词儿 是 曲折, 曲折 体现 在 哪些地方 呢?
他 这个 事儿 就说 你 也 不可能 一帆风顺, 我 觉得 中间 肯定 很多 节点, 外部 的 变量 也 很多。 所以 很多 事情 它的 动态变化 的 过程, 所以 像 我们 刚刚 讲 的 资本 人才 卡 产品 研发 技术 这些 东西, 我 觉得 肯定 都是 有 高光 时刻, 也有 一些 可能 有 一些 困难 要 克服 的。
遇到 的 挫折 有什么?
就 很多。 比如说 你 产品, 你 或者说 技术 的 研发, 它 就 不可能 一帆风顺。 你 有 东西 可能 他 试 了 就 work, 就 包括 卡 这个 事情, 肯定 也是 前后 做了 很多 调整, 因为 它 一直 在 变, 价格 一直 在 变, 那 可能 你 策略 也 一直 在 变, 你到底 是在 哪个 地方 去, 从 什么 渠道, 你是 买 还是 租 的, 这个 过程 肯定 是 就有 很多 这种 不同 的 选择。
过去 一年 你 如果 用 几个 形容词 来形容 形容词 或者 比喻 来形容 一下 你的 对 状态 的 感觉, 你 会 怎么说? 创业 这一年 登月。
然后 现在 可能 走了 第一步, 造 了 一个 火箭 的 原型, 点火 试飞, 然后 可能 积累 了 一个 团队, 弄清楚 了 一些 原料 的 配方, 三号 还能 看到 一个 P M F 的 雏形, 我 觉得 可能 就是这样 的 一个 状态。
也 有人 形容 是 过山车, 你 有 这种 感受 吗? 非常 颠簸。
对, 也是。 但 我 觉得 其实 也 还 好比 我 想象 中的 还 很多 事情 其实 反而 有点 像是 在 预料 之内 的。 比如说 我们 年初 的 时候, 很多 预测 其实 就 我们的 模型 能力 能 做到 什么 程度, 我们的 lon tex 能 做到 什么 程度, 我们的 团队 和 融资 和 卡能 做到 什么 程度。 我 觉得 其实 最后 你看 结果 的话, 反而 很多 是 符合 或者 超过 预期 的对 所以 就说 虽然 过程 肯定 你 有 一些 波动, 但是 就 大 的 规律 没有 变。
超出 你 预期 的 一件事 是什么 呢?
我们 比 预期 可能 更快 的 做到 了 三点 务 的 水平, 这也是 可能 一个 重要 的 点。 比如说 二三年 初 预测 的 可能 是 年底, 但 实际上 可能 我们 其实 九月份 的 时候, 内部 就 已经 有一个 我 觉得 比较 明确 的 一个 东西。
我们 没有 对外 说 对 吧?
我们 十月份 发布 产品, 包括 下一代 的 模型, 我 觉得 我们 现在 进度 也是 超 预期 的。 对我 我 觉得 这个 超 预期 的 部分, 包括 融资额, 我 当时 计算 是 说 可能 觉得 一一 亿美元 这个 数字 当时 看来 其实 很高 的。 但 后来 你 发现 其实 头部 的 公司 的 融资 其实 都 基本上 是 超过 了 这个 数字。 所以 我 觉得 这个 也是 一个 头部 公司 融资额。
是不是 总计 大概 每家 都有 两三 亿美元。
其实 差不多, 肯定 后面 还 会有 更多 的, 这个 是个 动态变化 的 过程, 中间 其实 有 挺 多 新的 变量 的, 你 要 去 调整 你的 这个 决策 的 模型。
你 觉得 最有 挑战性 的 是什么 呢?
我 觉得 每一件 事情 都很 挑战。 就 我们 刚刚 说 的 这些, 听起来 好像 很 简单, 但 实际 都是 需要解决 很多 问题 的。
你怎么看 杨丽坤 的 那个 观点? 就是 他 今年 在 志愿 大会 上面 说, 他 不 看好 现有 的 技术。 目前 认为 自 监督 的 语言 模型 没有 办法 获得 真正 世界 的 知识, 随着 模型 规模 的 扩大, 出现 谬误, 也就是 机器 幻觉 的 几率 会越来越 高。 然后 他 提出了 所谓 世界 模型 的 观点, 你怎么看 他的 观点? 这是 他 一以贯之 的 观点 吗?
对我 我 觉得 其实 没有 本质 的 瓶颈, 说 你 把 这个 当 你的 token space 足够 大, 你 真的 变成 一个 新型 的 计算机, 解决 它的 这个 通用性 的 问题 就 O K 了。 你的 token 能 表示 这个 线上 所有的 东西, 它 就是 一个 通用 的 世界 模式。
他 为什么 这么说 呢?
我 觉得 是 大家 都能 看到 现在 这个 东西 的 局限性。 但是 有可能 很多 时候 他的 解决 方式, 你 并不是 一定 需要 一个 全新 的 框架。 就是 如果你 去 看 他的 fundamental 的 东西 的话, 对 A I 唯一 work 的 是 就是 next so contradiction 加 scheme law。 所以 你 只要 token 足够 完整, 我 觉得 实际上 都是 可以 做 的。 但是 我 觉得 今天 他 指出 问题 肯定 是 存在。 但 我 觉得 这些 问题 其实 就是你 把 token space 变得 很很 universal, 很 通用。 实际上 就。
对, 它是 放大 那个 局限性。
我 觉得 是 吧? 但是 我是 觉得 第一 就是我 觉得 底层 的 第一性 原理 是 没有 什么 问题 的。 只是 说 他 现在 可能 会有 一些 小的 技术 问题 没有 解决。
那 你怎么看 jeffy hinton? 他 今年 上半年 一而再 再而三 的 呼吁 A I C T 的 问题, 他们 这种 都是 奠基人, 为什么 都 突然 出来 唱反调 了?
我 觉得 safety 其实 反而 表明 了, 他 可能 对 这 接下来 技术 能力 的 提升 是 有 极大 的 信心 的。 因为你 可能 觉得 这个 事儿 大 概率 能 做出来, 你 才会 觉得 他的 安全 会 是个 问题。 如果你 觉得 他 永远 就是 个 人工 智障, 你 就 不可能 会 跳出来 让 大家 说是 safety 的 问题。 所以 我 觉得 他们 其实 相反, 你知道 我 觉得 你 发展到 一定程度, 肯定 这个 safety 就会 成为 一个 很 重要 的 问题。
幻觉 的 问题 怎么 解决?
还是 scaling law, 就是 因为 唯一 work 的 就是你 scale 的 是 不一样的 东西。
你 觉得 现在 大 模型 公司 多少 成分 是 实验室 的 感觉, 多少 成分 是一个 商业 公司 的 感觉? 它 这个 配比 是 什么样?
我 觉得 一半。
一半一半 在 做 实验, 一半 在 做 公司, 或者 是在 公司 里 做 实验。
实验 也是 公司 的 一部分。 因为我 觉 做 任何 产品 和 技术 都 需要 实验, 只是 你 做 的 实验 不一样 而已。
你 有没有 想 过 在 中国 上 一代 创业者, 其实 他们 都 是在 应用 和 场景 上 吃 到 甜头。 所以 还 一波 投资人 和 创业者, 他们 都是 那种 user base 的 这种 思维 方法。 他们 只看 用户, 只看 增长。 你 觉得 就 我们 这 一波 能 代表 新的 未来 吗?
我 觉得 我们 也是 很 关注 用户 的, 就像 我们 刚 说 的, 用户 可能 是 我们 最终 的 目标。 当然 它 也是 一个 共创 的 过程, 但是 它 就 最终 能 给 很多 用户 带来 价值, 我 觉得 这个 也是 一个 核心 的 目标。 只是 说 我 觉得 最大 的 区别 是, 可能 这 里面 它是 会 是 更加 技术 驱动 的 一个 方式。 当你 现在 想象 一个 用户 的 需求 的 时候, 你 要 想 怎么 把 它 做 的 更好, 还是 那个 马车 和 汽车 的 问题, 应该 尽可能 想 怎么 给 大家 提供 一辆 汽车。 对, 我 觉得 现在 是 属于 从 马车 到 汽车 的 这个 跳跃 的 过。
他们是 属于 马车 上 加 个 发动机 吗?
对。 所以 他 很多 解法 是 会 更 技术 驱动, 在 制造 的 过程中 产生 了 这个 解法, 更好 满足 了 用户 的 需求。 这个 是 当你 一个 新的 行业 或者 新的 时代, 它 有 巨大 的 技术 变量 的 时候 会 产生 的 一个 东西。 今天 的 这个 技术 变量 它 又 没有 完全 收敛, 因为 它 还在 持续 产生 出来 新的 东西。
怎么看 你的 C M U 校友 陆奇 上半年 的 那个 观点? Open 的 未来 肯定 比 google 大, 只不过 是 大 一倍、 五倍 还是 十倍 的 问题。
我 认为 说 未来 最 成功 的 A I A G I 公司, 肯定 是 会 比 现在 所有 公司 都 大我 觉得 这个 点 其实 没有 什么 疑问, 就 因为他 最终 可能 是个 double triple G D P 的 事情, 但 他 也 不一定 是 会, 我 觉得 他 不 收回来, 就是 他 有可能 是 别的 公司, 但 我 觉得 肯定 会有 这样的 公司。
你怎么看 国内 大 模型 公司 和 巨头 的 关系? 拿了 巨 多 钱, 但是 这些 巨头 也 在 做做 自己的 模型。 模型 公司 和 巨头 的 关系 是什么 呢?
我 觉得 这 里面 其实 有 竞争 也有 合作。 竞争 就是说 像 刚刚 说 的, 其实 有些 做 的 事情 可能 是 一样的。 合作 就是说 其实 你 可能 也可以 去 发挥 不同 的 优势。 因为我 觉得 巨头 和 创业 公司 的 第一目标 还是 不一样。 今天 你 去 看 每个 大厂 的 公司 的 第一目标 跟 H I 公司 的 第一目标, 其实 它是 不同 的。 这个 第一目标 会 影响 你的 很多 动作, 会 影响 结果。 所以 最终 它 有可能 是在 这个 生态 里面 是 不同 的 关系。 我自己 判断 是 这样。
为什么 巨头 同时 对于 多家 大 模型 公司 投入 一点 钱?
我 觉得 这就是 一个 我 刚 说 的 第一目标 不同 会 导致 你的 结果 很大 的 区别。
他 为什么不 重 铸 一家 公司 呢?
而是 我 认为 前方。
的 前 三家 公司。
但是 每家 都 不算 很多, 我 认为 这 是个 阶段 问题。
下面 会 怎么 演变?
下面 会有 更多 的 consolidation.
巨头 会 把 钱 种植 到 一家 公司 吗?
我 觉得 会有 更 少 的 公司。
有人说 模型 公司 的 终局 是 被 巨头 收购, 你 认可 吗?
他们 有可能 是 可以 有 很 深入 的 合作关系。
24年 对于 国产 大 模型 整个 产业 有什么 预测?
我 觉得 一是 说 可以 看到 新的 独特 的 能力。 我 觉得 独特 能力 是 可能 会 在 今年 产生 的。 你 在 某 一些 方面 你 会 看到 国产 的 模型, 因为 有 前期 的 投入, 因为 有 合适 的 团队, 你 能 做出来 世界领先 的 某 一些 维度 的 能力, 觉得 这个 东西 是 可以 看到。 第二个我 觉得 就是 会 出现 更多 的 用户 量级 更大 的 产品, 我 觉得 这个 事情 是 非常 大 概率 的。 第三个 是我 觉得 会有 进一步 的 consolidation 和 路线 选择 的 分化。
如果你 拿到 的 钱 是 最后 一笔 钱, 你 会 怎么用 这笔 钱?
我希望 这 永远 也 不会 发生, 因为 我们 未来 还需要 很多 钱。
那 这会 是你 对话 的 预期 吗?
最坏 的 情况 肯定 是 这样, 但 我 目前 觉得 概率。
不大想 对 同行 说什么, 一起努力 说 三个 你 对于 大 模型 行业 最 想知道 的 问题。
我不知道 A G I 的 上限 是 什么样, 他 会 产生 一个 什么样 的 公司, 这个 公司 能 产生 出来 什么样 的 产品, 我 对 这个 事情 是 非常 好奇, 其他 的, 这个 是我 现在 最 想知道 的 事儿。
有人 评价 你 泰国 的 理想主义 吗?
还好, 因为我 觉得 我们 也是 很 脚踏实地 的, 因为 我们 真的 也 做了 一些 事儿, 对 吧? 不是 只是 在 说 创意。
你 最怕 的 一件 事情 是吗?
我 觉得 还好, 就是 往前 冲。
如果你 没有 做 错 什么, 你 觉得 自己 失败 了。
我 觉得 接受 这个 事情 有 失败 的 概率。
失败 了 你 也 不会 很 痛苦。
对 吧? 我 觉得 这 已经 运气 很 好了, 我会 感激 有 这样的 机会 和 过程。 是 这个 事情 他 已经 完全 改变 了 我的 生命, 我 觉得 我是 非常感激 的。
以上 是对 杨梓 琳 的 第一次 访谈, 接下来 是 过完年 后 的 第二次。 这次 我们 重点 聊 了 OpenAI 重磅 发布 sora 的 技术 观点 和 对 2024年 全球 大 模型 的 产业 预测。 Sora 的 突然 出现, 多少 在 你的 意料之中, 多少 在 你的 意料之外。
好 问题。 我 觉得 从 效果 上 来看, gently A I 能 做到 这个 效果, 我 觉得 还是 在 意料 之内。 对, 还是 在 意料 之内。 但是 可能 比较 意外 的 是 时间吧, 就是说 这个 时间 可能 比 之前 预估 的 要 更 早 一些。 这个 我 觉得 也 反映 了 现在 这个 A I 的 发展 确实 还是 很快 的。 因为 有 很多 scaling 的 红利 没有 被 完全 吃 下来。
去年 业界 就是说 2024年 大 模型 一定 会 卷 多 模态 的 叙事, 视频 的 生成 效果 会 像 2023年 纹身 图 一样 迅速 提升。 所以 在 这方面 sora 是在 意料 之内 的, 但是 他 又比 想象 中 来得快。 那 sora 她的 能力 是 超出 符合 还是 低于 你的 预期。
能力 上 就是 可能 解决 了 很多 之前 比较 难 的 一些 问题。 比如说 能够 在 一个 比较 长 的 时间 窗口 内 保持 生成 的 这个 一致性, 我 觉得 这个 可能 是 很 关键 的 一个点。 我 认为 这个 是个 巨大 的 提升。
它 对于 全球 产业 格局 来 他说 意义 是什么? 2024年 的 大 模型 会有 哪些 新的 叙事?
我 觉得 有可能 就是说 几个 比较 大 的 价值。 一个 是 说 短期 的 应用 价值, 肯定 可以在 生产 环节 能够 去 进一步 的 去 提升 效率。 当然 我 觉得 更 期待 的 就是说 在 目前 这个 能力 的 基础上, 肯定 还 会有 很多 延展, 包括 跟 其他 的 模态 相结合。 因为 它 本身 其实 是对 这个世界 去 进行 建模。 那 有了 这个 知识 的话, 其实 会对 现有 的 这个 文本 是一个 非常 好的 补充。 在 这个 基础上, 不管 是 说 在 agent 还是 说 在 跟 物理 世界 的 连接 方面, 我 觉得 应该 可以 有 蛮 多 新的 空间 和 机会。
你们 怎么 总体 怎么 判断? Sorry, 这个 事情 就 当时 他 你 看到 他们 发布 你是什么 反应, 内部 有什么 讨论?
因为 我们 本来 也 在 筹划 类似的 这个 方向, 也 做了 一段时间。 所以 我 觉得 从 方向 上 来说, 我们 倒 没有 太大 的 意外。 但 我 觉得 更多 的 是 有 一些 可能 技术细节, 包括 它的 这个 效果, 其实 对 我们 来说 也是 有 很多 学习 借鉴 和和 启发 的 这个 意义。
应该 学习 的 技术细节 能不能 展开 讲讲?
对, 但 很多 他 也没有 说 完全 讲清楚。 他 其实 可能 讲 了 一些 大致 的 东西, 可能 会有 一些 比较 关键 的 细节。 这个 肯定 需要 从 他的 这个 效果, 或者 就 是从 一些 已有 的 信息 在 再去 做 一些 判断。 包括 也 结合 我们 之前 的 一些 实验。 至少 就说 对 我们 来讲, 其实 是 说 可能 在 这个 开发 过程中 会 加上 了 更多 的 数据 点, 有 更多 的 数据 输入。
之前 视频 生成 相对于 文字 生成 来说, 它的 主要 瓶颈 有 哪些? 这次 可以 看到 open I 可能 找到了 哪些 解决方案 呢?
主要 核心 可能 还是 这个 数据, 就是你 怎么能够 去 规模化 他的 去 拟合 这个 数据。 这个 在 之前 确实 没有 被 验证 过, 特别是在 当 你的 这个 动作 比较复杂, 然后 生成 的 效果 更加 photo realistic, 在在 这样的 一些 条件下 能够 去 规模化 这个 事情, 去 这个 确实 是 之前 可能 没有 被 验证 过 的。 所以 他 这次 只是 解决 了 这些 问题, 当然 剩下 可能 也没有 完全 解决。 就 比如说 我们 之前 一直 在 说 的, 就是 需要 一个 统一 的 architecture。 就是我 我 觉得 D I T 今天 这个 architecture 可能 仍然 不是 一个 非常 通用 的 东西。 他 可能 可以在 单纯 对于 视觉 信号 的 marginal probability 去 进行 建模, 它 可能 可以 做 的 非常 好。 但是 怎么能够 泛化 成 一个 通用 的 新 计算机, 我 觉得 肯定 还是 需要 一个 更 unified 的那 这个 东西 我 觉得 可能 也 还是 会有 空间。
你 读 了 他的 那个 报告 没有, 就 video generation models as world simulator.
对读 了。
这 里面 有什么 关键 节点 值得 划 重点?
我 觉得 最 重点 他 肯定 都 不会 写 出来, 因为 就是 给定 现在 的 competitive landscape, 但 还是 比较 值得 学习 一下。 毕竟 这个 东西 本来 是个 付费 内容, 你 可能 要 花钱 做 很多 实验 才知道。 但 现在 可能 你知道的 有 一些, 你 不用 花钱 做 实验, 你 就 大概 有一个 认知。 对我 我 觉得 肯定 也 还是 值得 看你。
从 里面 提取 的 最 重要 的 信号 是什么?
这个 东西 它是 一定程度 上 是 scalable 的, 有可能 是一个 比较 重要 的 结论。 还有 就是 他 也 给出 了 比较 具体 的 architecture 到底 是 怎么做 的。 但是 有 也有 可能 不同 的 architecture 在 这个 事情 上 不一定 那么 本质 的 区别。
你 认可 他 那句话 吗? 就是 扩展 视频 生成 模型 是 建立 通用 物理 世界 模拟器 的 一种 有 前途 的 途径。
对 这个 我 其实 非常 认同, 就是 本质 上 这 两个 东西 它 优化 了 同一个 目标 函数, 对 这个 我 觉得 其实 没有 什么 太大 的 疑问。
那 你怎么看 杨丽坤 他 又 跳出来 反对 生成式 A I 他是 嫉妒 吗? 你怎么看 他 这次 的 观点? 他说 通过 生成 像素 对 世界 进行 建模 是一种 浪费, 并且 注定 会 失败。 生成 恰好 适用于 文本, 因为 文本 是 离散 的, 具有 有限 数量 的 符号。 在 这种 情况下, 处理 预测 的 不确定性 很 容易, 处理 高 维度 连续 感官 输入 中的 预测 不确定性 是 非常 棘手 的。 怎么看 他的 观点, 还有 他是 嫉妒 吗?
对, 就是我 我 觉得 每个人 可能 有 自己的 观点, 我 现在 觉得 其实 没有 本质 的 区别。 你 通过 对 视频 的 编辑 概率 去 进行 建模 本质 上 是在 做 无损压缩。 所以 这 跟 语言 模型 这个 next compress ict 没有 本质 的 区别。 只要你 压缩 的 足够 好, 他 就可以 把 这个世界 里面 可以 被 解释 的 东西 去 进行 解释。 但 同时 我 觉得 可能 也有 很 重要 的 一个 还没 做 的 事情, 就是说 他 怎么 跟 已有 的 已经 被 压缩 的 能力 去 结合起来。
其实我 觉得 可以 理解 成 有 两种 不同 的 压缩。 一种 是 说 你 去 压缩 这个 原始 的 世界, 这个 是 现在 这个 视频 模型 在 做 的 事情。 另外 一种 就是你 去 压缩 人类 产生 的 行为, 因为 人类 产生 的 行为 经过 了 人的 大脑, 这个 东西 是 现在 这个 世界上 唯一 能 产生 智能 的 东西。 所以 你可以 认为 视频 模型 它是 在 做 第一种, 文本 的 模型 是在 做 第二种。
但是 视频 模型 也 一定程度 上 包含 了 第二种。 因为 里面 也会 有 一些 人 创造 出来 的 视频, 包含 了 很多 创作者 的 这个 职能。 所以 他 最终 可能 会 是一个 mix, 就是你 需要 通过 这 两种 方式 会 从 不同 的 角度 进行 学习。 但是 最终 对 智能 的 增长 可能 都是 有 帮助 的。 所以 我 觉得 生成 有可能 并不是 目的, 它它 本质 上 是 只是 在在 压缩 这个 函数。 然后 如果你 压缩 足够 好, 那么 你 最后 生成 的 效果 就会 很好。 那 反过来, 如果你 这个 模型 本身 没有 办法 生成, 那 它 是不是 也 存在 可能 说 能把 它 压缩 的 非常 好。 我 觉得 这点 可能 是 存疑, 就有 可能 生成 非常 好是 压缩 非常 好的 一个 必要条件。
Sarah 这一次 相对于 去年 的 ChatGPT 来说, 它 他们 两个 是 什么样 的 不一样的 milestone 吗哪 一个 milestone 更 重大。
我 觉得 都很 重要 的。 我 觉得 现在 有点 像是 GPT3.5, 它 也是 一个 阶跃 式 的 提升。 但 同时 它的 模型 也 还是 比较 小, 所以 可能 可 预见 的 会有 更大 的 模型, 然后 就 这个 是个 确定性 的 效果 提升。
但是 也 有人说 他们 觉得 对于 做 多 模态 来说, 可能 google gama 的 突破 更 重要 一些, 你 认同 吗? 就 他们 这 两个 的 做法 有什么 不一样?
Gina 其实 是 去 follow for b 的 这个 路线, 然后 是 把 这个 理解 也 放进去 了, 我 觉得 肯定 都很 重要 了, 最终 需要 把 这些 东西 都 放在 同一个 模型 里面, 这个 是 现在 还没有 解决 的 问题。
为什么 放在 同一个 模型 里面 难?
因为 大家 还 不知道 怎么做, 就是 还 不存在 一个 被 验证 过 的 architecture。
如果 sara 加 GPT 可能 会 产生 什么?
就 server 马上 可以 用到 视频 的 生产 的 过程中。 但是 如果你 能 跟 语言 模型 结合起来, 你 就有 可能 去 打通 这个 物理 世界。 对, 就是你 能 打通 数字世界 和 物理 世界, 你 也可以 去 更加 端 到 端的 完成 更多 的 任务。 因为 现在 你 对 这个世界 的 建模 会 比 之前 更好, 本身 它 也是 可以 用来 提升 你的 对于 多 模态 输入 的 理解能力。 最后 可能 就是 在 不同 的 模态 之间 可以 去做 比较 多 的 切换 的。 所以 我 觉得 总结 下来 就是说 因为你 对 这个世界 的 理解 更好 了。 你可以 在 这个 数字世界 里面 做 更加 端 到 端的 任务, 同时 甚至 能够 去 架起 一座 桥梁 去 连接 到 物理 世界 里面, 去 完成 一些 物理 世界 里 的 任务。
极端 一点 想象 会 出现 什么。
你 就有 可能 可以 去 完成 一些 需要 物理 世界 才能 完成 的 任务, 我 觉得 这个 是个 起点。 比方说 就是现在 自动驾驶, 或者 就是你 能 去 完成 一些 家务 这些 东西 我 觉得 理论 上都 是 打通 物理 世界 的 一个 概念。 但是 我 觉得 他 可能 会 还是会 先 在 数字世界 有 很多 进展。 就是 数字世界 因为你 你 也 需要 对 这个 东西 的 很多 理解, 数字世界 的 突破 可能 是 基本上 是 确定 的 了, 但是 他 也 还是 存在 有 这种 公网 物理 的 可能。
怎么看 我们 这边 还在 追 GPT4, GPT4 还没有 赶上, 但是 sorry, 又 来了 两个世界, 好像 差 的 越来越远。 你 感觉 焦虑 吗?
我 觉得 这个 就是 客观 的 事实, 但 我 觉得 实际上 的 差距 可能 还在 缩小, 因为 这个 是 技术 发展 的 规律。
什么 意思? 就是 先是 曲 技术 曲线 比较 陡峭。
然后 慢慢 会 放缓。 我 觉得 是的, 我 倒 没有 觉得 这个 很 意外, 因为 OK 他 一直 在 做 下一代 的 模型。 但 就说 这个 客观 上 的 差距 肯定 会 持续 存在 一段时间。 甚至 包括 在 国内, 我 觉得 不同 公司 之间 的 差距 也会 去 存在 一段时间, 因为 现在 就是 一个 技术 爆发期。 我 觉得 这个 是 很 正常 的。
但是 如果 再 过 两三年 的 时间, 有可能 中国 的 顶尖 的 公司 可以在 这 里面 去 做好 更多 的 基础性 的 工作。 这些 里面 包括 技术 的 基建, 包括 人才 的 储备 和 组织文化 的 沉淀。 有 这些 东西 打磨 之后, 我 觉得 在 接下来 2到3年 时间 内, 其实 更有 可能 说 在 某 一些 方面 去 有 领先 的 可能性。 对 但 我 觉得 这个 事情 就是 需要 一定 的 耐心。
中美 最终 有没有可能 形成 的 是 完全 不一样的 A I 科技 的 生态。
生态 有可能 不一样。 如果 你是 说 从 产品 和 商业化 的 角度 来讲, 但是 我 觉得 如果 是从 技术 的 角度 来说, 通用 能力 可能 不会 说是 完全不同 的 技术路线。 我 觉得 大 概率 还是 一样的 技术路线 先 因为他 这个 东西 就是 通用 的, 你 很难说 跟 通用 之间 有什么 区别。 所以 我 觉得 基础 的 能力, 通用 能力 肯定 差不多。 但是 因为你 H I 的 空间 很大, 所以 在 这个 基础上 肯定 不同 的 模型 会有 一些 特色, 在 通用 能力 的 基础 上去 有 差异化, 我 觉得 这个 是 更 可能发生。
你们 对 镀膜 胎 是 怎么 规划 的?
这个 我们 一直 在 做, 也 做了 比较 长时间, 这个 本身 就是 一个 确定性 的 方向。
OK 所以 sara 的 出现 其实 没有 改变 你的 什么 认知, 它 反而 是 加强 人的 认知。
对 方向 判断 来说 没有 太大 的 必要。
我 觉得 大 模型 创业 在 中国 有 一点儿 算是 比较 怪异 的 存在。 因为 你们 融 了 这么 多 钱, 但 似乎 其实 一大笔钱 都要 花 在 做 科学实验 上。 在 这种 情况下, 怎么 说服 投资人 相信你 呢? 怎么 说服 投资人 愿意 给钱?
我 觉得 跟 在 美国 没有 区别 的。 我们 今天 拿到 的 钱 还 不算 特别 多。 我 觉得 我们 还要 更多 的 向 这个 open 学习。
2024年 你 对于 全球 大 模型 产业 还有 哪些 预测?
我 觉得 今年 肯定 还 会有 更多 的 这个 capability 出现, 但 我 觉得 格局 上 可能 不会 跟 今天 有 太大 的 差别, 就是 top 的这 几个 可能 还是会 领先。 然后 我 觉得 最 值得 期待 的 可能 还是 会有 哪些 新的 capability 会 出现。 我 觉得 现在 才刚 开始, 可能 就 今年 肯定 还 会有 更多。 我说 的 是 全球, 那 可能 他 有可能 更 多会 来自 o open .
I 今年 会 发还 会 发生 什么 事儿?
他他 肯定 还 会有 下一代 的 模型, 4.5和 5反正 也是 个 大 概率 事件, 视频 的 生成 模型 肯定 还能 继续 scale。
硅谷 不是 一直 有一个 争论, 就是 到底 是一个 通用 模型 来 处理 各种 任务, 还是 采用 专门 的 小 模型 来 处理 特定 的 任务。 这个 你是 怎么看 的?
我我我 觉得 是 第一个。
中美 会有 不一样 吗? 在 这一点 上 我。
觉得 不会。
H I 这么 发展 下去, 你 最 不想 看到 的 一件 事情 是什么?
我 觉得 我 还是 对 这个 事情 比较 乐观 的, 我 觉得 他 可以 让 人类文明 往 下一个 阶段 段 去 发展。
如果你 恰好 成为 了 这家 A I 帝国 的 C E O, 你 会 做什么? 保护 人类?
现在 想 这个 问题 就是说 可能 还 缺少 一些 前提条件。 但是 我 觉得 我们我们 肯定 就是 愿意 跟 社会 里面 的 不同 的 角色 去 合作 和 提升 这个 事情, 包括 在 模型 上去 有 更多 的 这种 安全 的 措施。
你 会 觉得 孤独 吗? 没问题, 很 有意思。 我 觉得 还好, 因为 我们 还有 大。
几 10 100号人 一起 在 战斗。 对。
好, 这 期 节目 就是这样。 如果 你喜欢 我的 节目, 欢迎 前往 苹果 podcast、 腾讯 新闻、 小宇宙、 喜马拉雅、 QQ 音乐 订阅 张小泉 商业 访谈录。 如果你 有 其他 想 邀请 的 嘉宾, 想听 的 内容, 或者 你 有 任何 想 探讨 的 话题, 都 欢迎 各位 听众 朋友们 在 评论 区里 留言。 我们 下期 再见, 拜拜。