We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode EP05 具身智能是50年一遇的机会!和星尘智能创始人来杰以及德迅资本Ted聊聊星尘的故事

EP05 具身智能是50年一遇的机会!和星尘智能创始人来杰以及德迅资本Ted聊聊星尘的故事

2024/12/14
logo of podcast ReSpark

ReSpark

AI Deep Dive AI Chapters Transcript
People
T
Ted
前 Character.ai 模型应用算法专家,深耕 AI 领域,特别是在 Post Training 和模型优化方面有丰富经验。
来杰
Topics
来杰: 我认为现在正处于一个类似于PC时代硬件与软件结合的智能革命机遇期。机器人与AI的结合将带来巨大的增量市场,就像PC机的普及一样,从科研产品发展到大众可以开发和使用的工具。与移动互联网的信息革命不同,机器人是智能革命的源头。我坚信,通过将所有信息在高维空间对齐,我们可以实现真正的智能,让机器人能够理解环境、感知情感、自主学习。星尘智能致力于打造Design for AI的机器人,使其成为AI训练的最佳载体,并最终成为世界模型最好的终端。 Ted: 我非常认同来杰的观点,并坚信工程师是改变世界的人。在2022年,我被来杰对机器人加AI拐点来临的坚定信念所打动,并被他对行业底层逻辑的深刻理解所折服。我们德迅资本愿意支持星尘智能进行前沿探索,不追求短期落地,而是着眼于通用性的突破。我们相信,通过构建一个开放的平台,让开发者能够自由地创造和迭代,最终会涌现出改变世界的killer app。

Deep Dive

Chapters
本期节目邀请星尘智能创始人来杰和德迅资本投资人Ted,探讨具身智能领域的创业故事与投资逻辑。来杰分享了从传统控制领域到专注具身智能的职业历程,以及对AI与机器人融合的深刻见解。Ted则阐述了其在2022年早期投资星尘的原因,以及对具身智能未来发展的展望。
  • 来杰从传统控制领域转向AI与机器人领域,于2022年创立星尘智能。
  • Ted在2022年早期投资星尘,看好AI与机器人融合的巨大潜力。
  • 星尘智能致力于打造更贴近人类形态,具备精细力控能力和高效触觉反馈系统的机器人,目标是实现AI与机器人的融合。

Shownotes Transcript

某一天当一个机器人他完成了绕月的一周回环的时候所有的人都会往天上看来补充自己对于就是整个宇宙的这种期待和欢笑这个才是人类最大的他说了一句话然后突然把我感动了就是他说人生就是在一个未知的海洋中航行

你偶尔会看见面前的各个岛屿然后你要在这个岛屿上拿到补给我看到这句话突然就想到我这两年的创业历我有一个大的目标它在很远的地方我在海上漂我要面临风浪我要分类的滑我要在每个岛屿上面去补给我所需要的物资需要找我的伙伴好像一下子的话我对于这个旅程变得释怀和坚定了

当智能重塑现实未来在此刻点燃欢迎来到 RaceSpark 我是主持人 Jimmy

最近中美两国巨神智能创业公司 Physical Intelligence 和星辰智能联合发布了通用机器人的 demo 刷爆社交媒体我也很荣幸地邀请到了星辰智能的创始人莱杰和种族论投资人德逊资本的 Ted 来一起聊一聊星辰的故事那我就开个场首先非常感谢莱杰和 Ted 来我们这个节目来交流可不可以请两位先做个自我介绍

泰德是我们的真天使投资人就是投资人里面让我们感觉到天使这个确实比较少见然后最开始的时候确实是从就是梦想出发吧

反正那时候话确实说的太得眼睛发光了然后我们俩抽了一根烟他就说这个事情很重要然后后面他就很忙对然后我呢其实我之前一直是大概在 09 年之前是偏传统控制偏硬件的然后 09 年的时候刚开始做强化学习那时候不是不是强化学习是 Q-learning

那时候的话最早就开始在道理摆呀之类上面想让他做点运动控制的事然后在那个时间点之后的话有一段时间其实这个记忆学习情况学习发展并不是很顺利吧然后我也是做后面去了香港理工大学做研究然后后面又做创业然后一直到 2014 年的时候 2014 年的时候当时百度 all in a

然后 OENI 的情况下的话其实就产生了两个大的方向一个就现在比较黄埔军校的无人驾驶还有一个方向的话就机器人然后就加入了百度然后在百度建了这个在资源处理部这个部门下面建了这个机器人统队因为那时候加入百度之后的话一直在 NLP 这一块包括现在文信大模型也是这个部门出来的

所以的话就从那个时间点就意识到了一些就是关于 AI 最终局因为大家说 NLP 是最最最上面的颗明珠就是从那个视角上面就开始来思考 AI 和机器人的一些事然后一直到 18 年 18 年的时候当时最大的一个感觉就是机器人和 AI 这两块往后发展的时候在那个时间点上感觉 AI 走得更快一点机器人更慢一点

所以话就是想要做结合当时是当时应该是张振友老师在腾讯大讲堂那时候刚回来还没有官宣就是加入腾讯他在腾讯大讲堂做了一个 talk 然后会讲机器人家然后我就去听了听完以后就跟他交流然后交流完以后的话我就从那边提离职了所以话就是很快加入了腾讯基金实验室

他们的实验室成立应该一个月吧我就已经做到了然后做大的时候除了张成英老师和一位秘书然后就没脸了然后就开始搭团队然后来见整个 AI 和机器人这块想未来怎么搞那个时候其实跟他的交流非常的多因为也没几个人就是跟他交流所以在很多的对于这个事情上面确实受到他很多很多的引导

所以包括他之前预言过的有些东西现在还没实现然后我们也认为在未来的话是关键的技术点包括 IPJDR 之类的一些更先进的理念然后到 22 年 22 年就比较复杂了 22 年的话那个时候首先是看到了一些 NLP 方向的发展

因为其实百度 17 年搞过一段时间 Transformer 然后大家很有预期但是数据量没堆够后面这项目又有点停了在 22 年的时候我们发现无论 Transformer 然后无论是像谷歌他们做的好多东西特别偏向于认知层大脑层的东西开始快速的发展

尽管那时候 GPT 还没达到这种大家爆款的时候但是我们也发现了整个技术战的就是往前的发展是可预期的了时间呀什么都可预期了所以那个时候的话就提出了说这个东西是不是单纯从机器人来做还是在思考一个更大的事但是当时在腾讯的时候就是有点偏研究吧

所以他不太想是用一个产品的这种思路来去引导整个技术发展所以那时候我就和代言一起出来然后创立了新城然后后面有一些腾讯想做产品的各种同学也就加入了我们所以其实从现在的时间点上来看的话我觉得对于我的预期现在应该完成了大概 45%左右就是他还没达到一半

未来可能还有更加巨大的两波我觉得那个才是我们做了这两年准备然后一直在后面要去摘的那个果子所以说这个是新城的优点

对后面我们可以再详细聊聊这后面的两个果子是什么对可不可以提前透露一下这样然后对那 TED 也可以做一个这个自我介绍然后包括可以聊聊就是 22 年那个那么早的时间点对吧我记得彼时可能大家都没有在谈机器人的时候为什么你们会投来接这个项目

对,简单自我介绍一下,我是德讯投资的 Ted,其实在 22 年之前我主要看的领域更多都是一些偏消费科技的,然后 2C 的一些出海的消费电子的,比较偏科技属性的这些产品,

当时我的一个 sees 是围绕整个中国的电机电控的成本和算法的这个大幅的这个工程师全部都在这个国内算法这个大幅的这个简易化了以后所以其实非常多的消费节产品都是消费科技的产品都是在深圳诞生并且都做得很大像这个云金对吧像 EcoFlow 像大江这样的这样的公司都是从这个这个深圳这个土壤成长起来的

其实我当时这个没划分的这么说机器人和消费科技这么远其实我的概念中就是你有电机能有一个智能化的产品它其实 sort of 就是一个机器人包括像我们看到的这个这个庭院的这些智能机器人啊到扫地机器人

所以当年跟莱姐聊到也是挺机缘巧合的说实话我所有的巨神的认知我真的非常感谢莱姐就是我从二二年九月份第一次见面以后我所有的从这个前瞻性的东西从怎么去切分本体到小脑控制大脑再到机座模型怎么会影响机器人的 perception 这些 ideas 全部都是莱姐基本上都是她给我灌输的然后我自己再去做研究的

所以真的非常非常感谢莱杰在这个上面我现在记得还很清楚就二二年九月份的时候当时莱杰在走离职这个过程然后我们约在这个腾讯楼下的咖啡馆

然后当时我们就探讨能做些什么因为其实当时这个 idea 也非常 preliminary 那 idea 给我的一个非常强自信的点是它当时说到一点就是机器人加 AI 的这个拐点已经来临了通用机器人离实现已经不远了我当时就一脸问号 I was like

这个拐点是什么我当时实际上是什么东西都没有看到因为 GBT3.5 的发布也是在 2022 年 12 月份那时候我没有看到这种 wow moment 所以我当时的认知还挺有在 OK 这哥们是不是在忽悠我他是不是在说什么大话然后后面他就很深层次的去剥夹抛弃从移动端的手机再到之前的电脑整个发展历史

包括他在机器人领域看到的底层 operation system 发生的一些事情 Google everyday robots 之前在做的事情包括 OpenAI 之前自己内部有个 embodiment 的部门在做些什么他都很清楚他讲通了整个底层逻辑他说这个拐点到了后来很多次交流以后我也信了这个事情然后发现他是一个前瞻性非常强的 visionary

后来发现这个来接自己跟 Google 这个 connection 非常深所以知道很多就是我们完全是不知道的一些信息

在那个时间点其实我们开过很多脑洞当时这个我的想法比较肤浅因为我自己之前都是看 2C 的消费机器人这些所以我们当时开过很多脑洞说要不要做一些 specific 像玩具类的东西啊像这个这个车库级的一些机器人啊做一些好玩的娱乐性的文娱像的我们开了非常多的脑洞当时来接自己其实也早些年的时候想过

通用机器人这个事情是不是投资人都不会白印我要不要先做一个 specific task 因为当时 vertical robots 在一个细分场景去产生价值大家还是白印的包括我们自己也投了非常多像餐饮后厨的机器人像工业机器人像上下料物料分解的这种当时其实说了一个 idea 说做这个跟麦瑞合作

大家还记得吗?记得记得记得。跟麦瑞合作,去做试管的插拔,然后去节约这些博士生,这些 high expense 支出的人,让他们更好的去利用自己的时间,更好利用他们这些 capax,然后机械人去完成这部分的工作。但后面其实我们在交流过程中,我们就强烈建议来,也说不要干这事。就 to be 在中国是个很卷的事情,也长出很大的公司,而且

在来劫的寻讨下我们就直接说你就做探索就做前沿探索我们不 care 你做什么场景我们也不需要你在两三年内落地我们也不认为有机器人公司现在能在两三年内找到落地场景去大规模 deploy 所以我们就说你先把你的整一个的结构的 idea 做出来然后开始把你的控制做好把 AI 的 perception 加上去我们就很 OK 这个 idea 就其实我们当时也没有说说要说做一个

那么那么长远或者这么泛通用性的东西但是我们觉得就不要做垂直场景先去做探索嗯对就刚才都提到了一个就是 2022 年那个时间点啊就是我也好奇就是在那个时间点比如说像蓝姐你你是看到了什么样的机会就包括像

2022 年 9 月那个时间差 GPT 还没有出来就是可能这一波巨声大模型火我觉得就可能还是 23 年的上半年可能三四月份之后就是逐渐大家有共识对吧然后可能这个共识的逐渐的一个形成过程到 20 年 9 月那个时间点是非常早就是那时间点你看到了什么然后为什么会怎么给太子洗脑的就当时

我当时跟泰德奇脑应该是两个方面第一个方面就是整个行业的发展整个行业发展的话我记得当时做的是特别粗糙的那种 PPT 吧然后里面有两页所讲的是那个 PC 机行业的发展是大概是在 1975 年到 1986 年这十年的过程

然后 PC 机行业的发展就是简单来说的话就是它是一个真正把硬件和软件的结合也就是说硬件和软件是它的两个大的一块也就是说我说当时的情况下人们对于电脑的这个认知基本上都是属于普通人不会用的

但是它完成了结合以后的话就相当于完成两个步骤第一个是普通程序员在没有电器知识的情况下可以去编程序因为再早一点的话他们程序员是要学输电知识才能编程序然后再往后的话就相当于有人为这个东西进行开发然后它本来的机座的这个通用性又足够大后面的使用者就会越来越多

所以的话就是我会我当时非常详细的分析了那十年当中几乎每半年所发生的重大的历史新现就所有的这些我都分析出来然后我说其实现在的话就是确实是一个 50 年一遇的机会这个机会点的话就是机器人和 AI 的结合所以的话就是这个是对于我包括我们的商业之类的我们说把它作为一个科研产品

并不是说它只能作为科研产品而是从科研的这些开始做 AI 的人来开发机器人一直到普通的可能是只是一般的程序员开发机器人然后再往下下发展到这种大众可以去开发机器人的功能我们认为这个增量市场才是最大的市场

就是这个真是跟电脑发展的模式一样的跟手机发展可能还有点区别因为移动互联网在我看来的话应该是信息革命的第二次的增长曲线但它不是信息革命的源头而我认为机器人的话是一个智能革命的源头所以话这个是商业的然后从具体的技术上的话因为之前做过 NLP

所以有一些感觉就是所有的东西其实在高维空间是可以对齐的我们可以用语言无论写的多么复杂去解释掉很多的事然后去解释图片去做什么当然这个的话它其实就在高维空间对齐然后像 Transformer 它后面的各个领域的应用可以看见它极大的使很多的信息在某一个空间产生了对齐

而像 openai 然后像包括那时候百度 LLP 一直都是在做类似的事我们就觉得我觉得就是这个对齐的结果很快就会到来方法有了再高的空间它也是可以对对齐的就是缺数据所以在那个时间点的话我就觉得哇我好像抓着了什么叫做真正的智能真正的智能的话就是呃

就是把所有的信息在某一个空间对齐对齐之后的话再反推这个信息所带来的东西包括你说往前抓一个瓶子然后机器人的一个动作这两个只是在高约空间产生了一个对齐关键是之前没有方法让它对现在有方法所以在那个时间点的话就给人很大的一个冲击感吧这个冲击感就是好像能用某一种各自的编码方式最后都能编到一个特别抽象的地方

然后在这对齐以后的话所有的信息都连通了所以这个就是当时对于这个就是笃定出来要创业并且开始预测后面会有语言模型的发展 VLM 的发展然后多模态的发展包括我现在去说现在还有两个果子一个我认为是关于是世界模型的一个是关于世界模型网下的应用的

就这这个话我觉得好像没有一件事的出现是让我感觉到惊讶的让我感觉到的话反而是 push 我感觉我自己机器人这块做的还不够快对就是创业两年让我这个感觉非常深对

对那这两年的过程中比如说从去年开始到今年就是市场上也很多的创业公司出来包括北美有很多的进展就这个过程的进展跟你之前想象的比如说那个时间点你跳下去创业预期的这个市场的状况会有什么不同吗

我没有想象到中国会冒出来这么多巨生智能的公司然后这个是我没想象我本来以为这种状态应该会在北美出现这个是在我意料之外的然后其他的应该是没有特别超出我预料的东西对

您说的巨神智能的公司指的是偏硬件本体的还是比如说类似现在偏做巨神大模型的这种偏巨神大模型的这种为什么会觉得没有预期到国内会有这么多的这一类的公司会出现呢从两个点吧我感觉到北美的这个 AI 这一块还是有领先的就包括到现在我依然还是有这种感觉

所以的话我包括到现在我还是认为就是这一块的大的这种越变性的发展更有可能在北美出现对这个可能是可能是一个因为追随了好久因为像我们搞 AI 这一块的话复现追随改进

但是确实做颠覆的话我们在做颠覆的事但是隐隐心底有一点点隔还是还是很敬畏的这种心情吧对就这方面我还挺 agree 的可能来着自己不太好意思讲

二三年当时公司刚成立,基本上的班底还是 RoboticsX 的。我们作为投资人很在意 AI 在上面的结合,说要搭建一个比较强的 AI 团队。当时来杰也在后续的融资过程中,我记得是二三年年初到年中这段时间,聊了非常多的投资机构。

我觉得当时市场上都不理解他在说什么就当时还没有太巨声这个概念巨声可能还停留在李飞飞当年说的这个 embodyment 大家都还没有看到这个 perception 端已经有非常大的改变然后到机器人端这个通用性可能会很快在一些特定场景匡选范围内去得到很强的泛化性我觉得第一点就大家都没看到那个事然后突然到了 23 年年中

就一下子风向进行了非常多的改变其实二三年年初的时候莱姐也去 pitch 了非常多的这个清华茶院的学者跟她一起去干还有这个港科大港中博文这些学者去干当时学术圈其实大家都还在这个怎么说呢观望的状态因为也没有很强的确定性我觉得很多时候

一个赛道能火起来然后有很多初创公司钱还是一个很重要的问题就投资人的共识有没有达到那个程度那个时候是完全没有达到的直到年终了以后反而是突然这个东西就一窝蜂火了然后一堆团队出来包括到今年年初还有很多团队在陆续出来但那个时候二三年年初的时候是绝对没有看到这样的情况的

对 我觉得其实就刚才那个两位说的一个点就是这个颠覆式创新或者突破式创新过往一直以来它可能确实就是这个北美的土壤会更容易去培养出来这类的创新比如像这个通用机器人这个方向就是从落地应用的角度来说我觉得肯定国内的这个公司会有很大的机会但是就如何把这个

通用机器人的这个模型跑通这件事情来看啊就从目前来看比如说派发布了这个派灵的这个模型啊包括像这个北美的谷歌的一系列的这个动作对吧 open vla 等等这些他可能都是国内的创业公司也好学学界也好去啊

重点参考的一些对象吧对所以就说回到我觉得像目前国内和海外的这个巨神智能赛道的这个竞争格局的话对来总觉得这个星辰在这样的一个竞争格局下他是在一个什么样的一个位置或者是你们希望自己在一个什么样的一个卡位上面

呃在这有一个点其实这个呃如果按照我整个的想法来看他的这个的源头应该是 AI 的发展带来的但是这个最大的一个增持变量是 AI 和机器人的结合这个是我的最最最原始的包括阿尔典跟泰尔讲的时候也是这个说法就是当时就包括你看这几年从语言大模型一直到呃

VRM 然后到多摩泰然后现在到多摩泰这个时间点的时候其实这个大模型没有达到真正的我们想要的那种质量但是很不幸互联网数据用的大差不差了也就是说互联网的数据没办法再给它带来新的这种世界上的信息了而这种信息到底应该从哪来应该是从机器人来

所以在我当时创业的第一个时间点上我来预测的话应该是在现在这个时间点才是机器人最应该去发挥作用的时间点也就是说机器人可以完成两个事第一个事情的话它是可以完成跟世界的常识性交互这个跟小孩一样常识性交互然后第二个的话它引入更丰富的物理信息就这些东西的话基本上你从互联网数据上基本上不可能得到的东西

然后有了这个数据的情况下有了这种新的这种这一维度的信息补充的情况下再加上本身互联网的信息再加上本来讯的模型结构它就会完成一个真正的跨越跨越到一个理解世界的一个东西所以的话在我看来的话就是整个发展的源头是 AI 带来的但是在这个时间点产生的质变就是 AI 和机器人的结合所带来的

最后就得到最后的那个我们所说的世界模型的这个果子所以在这个角度上来看的话其实大家现在很难说是谁在先谁在后但是我觉得就是并不是说所有人是带着这种认知来去做这个事情所以我们在第一天的时候我经常说我们就从一开始我就说我们要设计一个就是 design for AI 机器人这个是吃苦吃衰的

当时在百度的时候我们那个训一个模型当然是偏控制的那时候都是偏控制的用强化学习为主的那种模型然后模型有时候刚上机没跑几步机器人撞到了桌子上然后下面结果就肯定要等两周三周然后也就因为这个原因所以大家很多的话在 simulator 上继续玩就是就机器人和 AI 就是天然的结合不到一起

而我在大概两三周前就是讲了我说大家说要减少这个机器人试错的所造成的成本我说一个问题是现在是两岁的脑子你给他配了两米的大个子然后还红身是肌肉你让他开始学些锻炼脑子的常识这个常识本身天生就是不应该是这样出现的就是应该

比较温柔的小孩然后他去用他的方式探索世界然后积累经验不造成更大的破坏然后逐渐增长他的能力我觉得机器人应该做这个事这个不一定是 AI 能搞得定的这个必须是机器人能搞得定的所以话我们无论是选择包括我们的传动方式然后我们重视于力控然后重视于整个的这种访人的这种上面上构型

所有这些东西都是从 AI 来考虑就是吃了很多 AI 苦刚好又能设计机器人能够组织亿万人然后做一个最适合 AI 的机器人但是同时这个机器人在 AI 长得足够大的时候如果是世界模型出现的时候它又变成了世界模型最好的终端

所以的话这个整个的发展过程不就是跟 PC 跟手机就完全一致吗因为当时创业前的话我喜欢看看历史我要找历史的这个吻合感当时我把那段历史全部理清楚的时候我都惊讶了我说天哪每一步就是这么一步一步来的

就是每一步该发生什么事情有可能会有什么样比如说到最未来的时候生态的形成就是可能不只是程序员了可能普通大众都可以搞一点让机器人能够学会一个技能比如说在可能未来可能我估计一年或者甚至就是在明年年中的大概这个节点就会有这种偏向于世界模型和机器人的更好的结合

这种事情我感觉他出来以后的话我完全不会惊讶并且我也一直在为这个事情在努力所以话现在有时候说赛道的升位是因为大家把这个事情看的有点小

然后因为在这个的发展过程中随时都有可能会出现这种我不去把蛋糕做大我分一点然后占我市场的这种团队吧因为长期来看的话这个行业最后发展的后面太大了每个人都会有自己的一个定义和选择所以我很难说是用这个方式来说并且我之前也说过一句话我就说因为我一直在企业嘛

我们做企业有时候说赛道说竞争对手我们是通过市场是通过用户的话分来说的但是现在的话只是我本来所期望的应该是大家一起做这个蛋糕一起做这个技术只是不知道为什么在现在这个阶段大家开始了产生了一些减少交流的分化这个是我跟我之前的预期有一点差别

但是其实就整个这条路上面我觉得现在还没法做赛道这些事可能未来客户都不一样你市场也不一样你做的事也不一样对我想到我们 22 年当时交流的时候我们还在聊说这个电脑和手机这两个最后其实

他们能大规模去运用还是因为有 killer appright 对就他还是有个 killer app 了以后大家才开始去买它我们当时还在想说我们第一个 killer app 要做啥后来我们想说我们压根不需要做这个 killer app 我们就做出来一套很好的给这些开发者用的

这个这个底层的这个最好的 sdk 最好的硬件让他们去用他们自己在上面开发上面自己去迭代自己去做 eventually 这些人会产生一个 killerapp 而不是我们自己去想一个 killerapp 出来往那方向做当时我觉得这一点就是当时这个思考让我就觉得就 yeah 这个事情可能可以做的更大一些

而不是一开始上来就瞄着一个 killer app 去做然后包括像说我现在要进工厂我现在要去替人我现在要在一个 specific 环节去把这个事情给干到完美那就 defeat the purpose 要做一个通用性的东西了至少现在在星辰在我们公司我们的员工已经感觉到这个变化了我们的行政小妹戴着 VR 眼镜然后去做无论是摇操作之类的这些她去做一些事的时候

它的认知状态是发生改变的就是它会投身在一个机器人上突然发现能量无限大这个是非常夸张的一个事然后我们用语言开始让机器人掌握一点点技能用自然语言然后他们的想象力就是飞速夸张

就是那种感觉跟那种是把一个机器人步到工厂里面踢到一个人感觉完全不一样我一直相信无论是电脑也好手机也好每个人在接触到他的那个拐点的一瞬间他必然会被这个东西所感动我们把机器人放到工厂里面我估计我心里小妹不会感动但是他真正开始用这个东西的时候

就能不能做这个能不能做那个那种感觉才是我真正想要的我才是相信这个事情能跟电脑这么一个东西就是它的通用化平台能拼齐的东西对

对我觉得来这刚说几个点我自己觉得还是蛮震撼的观点啊首先就是第一个点是关于你说到的这个嗯可能现在这个时间点是你认为做 AI 加机器人的这个这个 timing 而这个 timing 的到来可能你认为是通过 AI 和物理世界的这个载体比如说像机器人这种载体结合它可以反补 AI 这个能力对吗就是比如说现在 AI 对互联网上面所有的这个

饲料他已经用尽了那他现在需要更多的物理世界的一些数据的来源但是目前没有只能通过这种机器人的这种方式来去采集这个是一个点对吗我觉得这个可能就跟我们现在就是了解到的很多的这个川远工他提到的比如说是还是让 AI 来服务机器人这点是不太一样的就从你的角度来说我觉得他可能更多的像是用机器人这里来反哺 AI 这样的一个观点

然后另外一个对这个有一个很关键的点是在于我们可以看电脑的发展 CPU 的发展和它本身所承载的软件的发展应用的发展永远是一个相互驱动往上走的这个是非常关键的另外还有一个点的话就是我们的互联网的数据现在还有生成式互联网的数据如果让模型继续再去学会去

当它大于一个比例我们应该在百度的时候之前测算过这个鱼卧赞源的比例应该是 15%还不错我记不清了那它冒险就开始偏执就开始蹬了某一天它就开始反复的说一些很奇怪的东西所以的话这个是一个必然需求这个是个必然需求也就是说所有的真实的信息

我们人类积攒了几百年不是几百年几十年然后把这个信息变为了互联网信息让模型完成了启动但是之后的很多的信息都应该是从客观的世界上重新拿回来补上去的对然后呢涉及到第二个点就是 design for AI 的一个机器人

对那像刚才就是基于刚才说到的就是机器人来反哺 AI 然后我们就稍微理解了一下这个 design for AI 的这个机器人他的这个前提对吧是为了能够采集更多的这个物理世界的数据或者是让 AI 跟物理世界进行交互那这样的一个机器人他应该有什么样的特征呢就或者是说回到星辰的机器人就是他的哪些个特征是你认为非常重要的嗯

我们采用了一个比较少见的驱动方式传统方式用神区但是我们不是为了神区而神区很多年前然后我们当时去做一个用机器人去开门的事然后我当时提出来的第一个质疑就是为什么盲人能开门机器人开不好就是盲人你只要把手搭到帮帮他搭到手把手上他什么都能搞得定然后这样的事非常多我不是否认视觉

我是觉得我们的机器人缺了一层跟底层的东西而这一层的底层的东西就是力也就是说我们在改造世界包括最开始跟代言说这个智能这个事的时候我把它说是智慧的能量也就是说我们用力的方式是施加能量轨迹的方式不是所以的话在这个点上的话首先我们认为一定要给机器人补充这么一层东西然后并且把这一层东西这层数据让模型去学会了

这才关键的就比如说你按按键也好干啥也好就是有很多东西的话实际上你是在操控你的力而并不是说单纯操控你的威力这个是就是为什么我们要做这种传动然后终止利空另外一个话包括构型上面我们之前是在那时候还在腾讯我们去做了一些前沿的一些偏向研究的就是什么样的机构它可以用人的数据

腾讯的当时那个调九是请了动博老师然后穿着衣服因为腾讯有很多很超前的东西穿着衣服然后我们拿人的谷歌数据做训练然后让他去完成就是做这些事但是当时一个问题就是你的这个数据如果映射在协作壁上就是按照传统协作壁你的所有的关节信息所有的除了末端信息之外的其他信息基本上都丢失了

但是你把它映射到一个像人的机器人上它的所有信息都会存在而中间的话当然有个比例跟人的差异越大它的信息流失量越大然后越接近的话它效果越好所以在这个前提下的话我们最大的就是机器人它也是一个以 AI 训练为驱动的就是最开始的数据集的要用那数据集在哪人的数据集

所以如何把人的数据集无论是我们是从 YouTuber 上拆的火柴人还是我们就是做 3D 数据人生成就这种谷歌的参考轨迹的数据集到底有多大的服用程度这个是跟你的硬件的结构相关的可能做 AI 的人没想过这事纯粹做机器人也没想过这事

但是我的想法就是我 design for AI 我不是想的只是它是一个东西去完成什么事而是整个它的数据逻辑它 AI 和机器人的结合到底是什么所以类似的这些东西我们做了很多包括我们现在做机器人的我们下半身上面我们下半身的话就是人腿并住腿的样子

我们有踝关节有膝关节有髋关节还有腰部的扭转但是再复杂的话可能没有那么大必要但是这个对于我们来说对于人的信息来说 Vitagin 效果就是 OK 的所以这些东西的话其实很难单纯你说是我想机器人我站在机器人角度上怎么抵担 4AI 我站在纯粹的 AI 的角度上怎么我用什么数据去让机器人完成一个任务其实那些都不完整的

对所以话这个是星辰的一个特点吧星辰从第一天开始就说是 AI 和机器人的结合我们做的是 AI 和机器人结合的事我们的同事来的第一天起就开始要打破自己本身的立场的这个账所以这个我觉得才是未来最最最大的一个一笔财富吧就我最大的一笔资源吧

当然这个也不是我最开始的提出的这个张正佑老师在腾讯实验室然后批大家批了好几年就是因为有很多这个账很难去处真是很难去处

对就刚刚提到的这个省区的这个方案我也觉得就是还确实是这个挺特别的像国内如果当然国内的可能巨声智能的公司会做硬件会多一点就是像你怎么看这种电机关节的这种方案就是如果是站在 design for AI 的这种机器人的角度来说电机加上电机关节这种方案的问题是什么

我需要最好的力的透传然后我 21 年之前的话是做 locomotion 的然后什么龙腿啊双足啊然后四足啊做这些但是我觉得那个发生最大的一个变化点应该是 18 年的 mini cheetah 的开源也就是说当时就是把行星放到一个外转子电机里面就这么一个很简单的创新然后使得它的力的跟随变得好了

Lead 跟随变得好的话大概在那个时间点之前全用 ZMP 然后后面 MPC 加强化学习它本身是一个因为 Lead 控制变好而带来的整个的包括软件和算法性能的一个改变然后在那个时间段的话我们也去测试过到底什么样的一个减速比到底什么样的一些传统方式它能把这个 Lead 透传做好当时还是 for locomotion 的

但是后面在机械臂机器人用到操作的时候有这个需求的时候我自然就要找着它能完成这种减速这种效果但是不增加所有的这种比如说背锡摩擦之类的这种方式所以当时也探索了很多然后后面的话是选择神学方法就是它能完成确实跟一个种植器系统一样但是减速比我们可以通过神的方式让它变更大

对那这块多问一下省区的话你们用到目前为止觉得它会有什么问题吗比如说像我了解到的省区的话它可能用一段时间它就要调等等就这些问题上面目前都是已经很好可以解决了吗这个解决了不只是一两年了这个解决了很多年就是从一开始的时候发现了一些问题就本身它的特性问题

但是我们在这个过程中的话一直是用算法进行补偿然后当然也对材料测呀什么的话会有一些要求然后这样的话其实我们到现在的话已经认为这个完全不是问题并且在我们实测过程中长寿命测试当中已经完全感知不到它跟其他的这种使用上的区别但是里面对于算法的要求非常高我们有很多的算法包括就是人就经常说我们全部自研

像驱动器也自研但驱动器自研的其实背后还有一个原因是因为我们有很多的算法要写在驱动器里面它必须要以非常高的频率来控制才能去补偿掉身体可能出现的一些非线性的问题非线性控制上的问题所以的话这一些其实你会发现之前做过的很多的经验它环环相扣最后连存一体就是会有这样的感觉

对刚才还有一个我觉得印象比较深刻的一个比喻就是跟 PC 时代的比喻包括刚才的也说就是为什么要想着做一个应用场景对吧为什么不想着做一个这个可以服务所有应用场景的一个更大的一个事那如果更具象的类比的话就比如说到 PC 时代可能他有做 PC 电脑的有做操作系统的有做这个后面的这个 Killer App 应用软件的就像现在这个时间点的话

您觉得或者是比如说这个如果类比到星辰的话就是你们在做一个什么东西就是如果更具象的去理解这个跟 PC 时代的一个对比的话因为这个机器人这个非常有意思这个我感觉跟现在时代的吻合度比我想象的要高非常多当时的如果按 PC 时代的话就是那时候大型机器人已经出现了

有少部分的这个程序员然后给大型机里面开发一些特别庞大的这种算法和数据处理的东西但是像就是苹果时代苹果时代的话当时就是乔布斯他拿着苹果的原型机包括找着惠普老板说这个东西很有未来惠普老板说全世界估计没有超过五个人会使用电脑

但是再往下的话他走一条什么路呢当时因为也是美国的就是 CP 时代然后大家开放性所以的话他把这些东西开始往校园里面和这种发烧友开着门然后往发烧友卖的时候就产生了一个联动效应吧发烧友会开发出来一些新的可能大家更适合用的一些玩意然后有一些人可以玩比如说便利店里面的这个报税系统

我不知道反正美国报税有多复杂吧但是对于当时来说的话就是大多数人可能只能花钱请人来报税但是结果就是在便利店里面输入自己的乱七八糟的东西然后他给你自己打印证税单你就可以去报税这个就是平民化的然后在科研这一块的话就更加夸张就是

逐渐迈进去以后的话产生了第一批程序员就是这种 PC 机的程序员而不光是大型电脑但是 PC 机程序员出来以后发现他的场景中要用到 PC 机的时候他是用过的苹果电脑他就更想用苹果电脑所以的话就变成了一个特别就是有点像像原子爆炸的那种效应的一个指数性变化但是如果真正说到他的操作系统的开始分裂

这个反而是稍微后一点的事因为就是微软和 RBM 就是我们所说的这个兼容机系统开始来复制 Apple II 然后开始来做包括图形界面然后才产生了这种分裂

但是在分裂的时候的话我确实也觉得在那个时代里面有一点点可能是苹果当时走的路可能不太对的就是封闭式系统和开放式系统就是是否足够开放让大家都能用让大家都能做完整的开发所以的话对比到我们现在现在机器人是个什么时代现在机器人就是一个只有极少数它还没完成结合但是现在我们不论是跟包括跟派克做下什么我觉得这个结合点已经到来了

就是有一些人开始希望在这些机器人上去开发一些东西然后有一些普通大众看到了很嗨然后还有一些科研的话会往上面继续去分替他的比如说程序或者算法而我们就是把 AI 的这个架构和机器人架构打得更大

然后当这些算法开始产生局部的这个实验的时候可能普通大众的接触方法是那种就是获益式的就是我在旁边可能哪怕就是让机器人做一杯咖啡但是他开始逐渐习惯于一个身边也是机器人的世界

然后在科研里面的话可能逐渐毕业的人他的想法就是这种我开一个小公司或者我在某个什么行业去利用我本身机器人和 AI 结合的这个技能然后完成机器人和 AI 结合的推广我觉得现在就是这个时间点所以的话这个雪球拱起来我觉得应该比大家想象的要快非常多对这个体会到了这个泰德说的这个 visionary 对

高度 高度的高度对然后对那我觉得可以就是说到这个展望吧就包括刚提到的这个 PC 时代跟现在的这个时代的这个映射哈就是说如果放眼未来的 2-5 年 5-10 年或者更长远就是大概就是比如说来解你对

机器人和 AI 的这个行业的发展的预期是什么样子然后 Ted 你也可以讲讲就是说你自己期待的比如说未来的中期短期中期和长期就这个行业的一个发展是什么样子的 Yachin 来来来也可以先来回答一下这个问题对呃二到五年五到十年我觉得二到五年的时候啊世界模型就是已经开始要跟机器人做进一步结合了也就是说呃

二到五年这个阶段的话就机器人供给数据和机器人使用模型它会达到一个良性循环的一个发展现在其实范式才包括我们合作什么才开始在尝试这个范式但是我觉得二到五年的话它已经开始是明显上升那个过程然后五到十年的话我觉得会发生到这种 AI 对于机器人的反哺就是它是一个更加的一个在各行各业开始扩散的局面为什么这么说呢其实有两个点吧

第一个点就是我们认为就是互联网数据这么大规模的数据它对于无论是现代 AI 技术无论 transform 或者其他的这些它已经完成了这种工具对于数据最后转化为模型的这种方式但是机器人数据在我看来的话它是含有大量的物理关系的也就是说它本身是在某一个空间已经被对齐的

也就是说它所需要的数据量不像是我们当时编辑相量一样给你某一个字如果它没有前后文联系的话是没有任何意义的那只是个符号但是机器人所观测的数据不是这个它本身是有物理意义的并且物理意义就可以用某一个微分方程加某一个噪声分布来表达也就是说它在物理上其实是某种对齐的所以它训练应该是更加容易的来 刚好上次我们没有讨论到这个问题就是你觉得

如果有这个机器人大模型它底层的 token 是什么样的是一个描述性的一个 action 的动作还是一个可能是一帧里面做的一个事情就是它会是以一个什么样的形式存在的好问题这个问题没解这个问题的话我正在研究我最近在看这个哈哈哈哈

这支里面给了非常多的启发然后包括就是怎么说呢就是有很多的话大概这本书我四五年前看过当时我感觉哇太超前了然后现在我看的时候我发现我找着了很多我对于现在这个模型认知的一个它的输入它的输出所以在这的话其实可以看我们公司的这个分布吧认知感知和控制

我从一开始就这样分布然后到现在的话就是我经常说 VLA VLA 认知就是 L 然后感知就是 V 然后动作就是 A 然后你们先把自己这一块搞然后去这个端到端上你们就要合起来一起来做对就我觉得离不开这些东西离不开这些东西所以你说它最底层的 Token 的话

自然语言这肯定是它的就是一种接口方式这个是没法置疑的这个大概在应该是在很多年前当时离开百度的时候然后我跟那个我们一个架构师朋友去聊我们当时讨论的问题是未来的是函数嵌套函数的调用方式还是自然语言的调用方式

当时的话我们就一致认为如果 NLP 发展到最后的话它取代的应该是函数先到函数所以的话到现在的话我现在包括自己去搞 competitor 之类的我发现必然是这样了这个已经毋庸置疑了但是关于感知测和动测测如何去把它们合理的 talking 化然后进行对齐这个我觉得

至少我觉得不简单是这种像素性质的也不是像分块性质的甚至的话对于人来说的话人有很多的缺点但这个缺点却发现它在给一些很强的启示吧就比如说人看聚焦的地方很清楚然后其他地方都不清楚

就他在绿波的时候他其实提升的用硬件提升的注意力然后硬件完成的桃坑化对然后动作上面也是就动作上面的话前一段时间看到一个反正就是也是这本书上面把人脑各种患病的他缺失了某种脑区会损失什么样的能力在我看来的话每一块可能功能都是对应着某一种模型然后他有他输入他有他输出

对当然我并不是说不做端到端这个要重申我觉得选择端到端或者分层模型对于我们现在的这个认知能力来说有点狭隘然后就是我前阵子跟我的团队也在说一个事我说什么是端到端我妈看着电视打毛衣那个就肯定是端到端嗯

对但是你不能说他是他没有脑区分层他有很多认知上面的理解所以我觉得对于人来说的话肯定是并从的然后并从里面的话我觉得非常有意思一点是有可能自己训自己只是我们现在我们跑通了一些我们跑通了这个案例只是现在在算力不够的情况下我们还必须要让他自己的知性拿出来再训练到根捣段但是我们已经跑通了这个事

我觉得这个才是现在做 AI 加机器人应该去弯住和向前看的事回到刚才那个问题上我可以这样理解比如说二到五年之内这个期间可能我们从结果来看还更多的是一些极客和发烧友的一些市场然后

大家把这个机器人和 AI 来结合然后去做一些尝试其实不是我觉得就是市场多大取决于成本多少我特别相信中国的供应链我今天下午还跟一个上市公司的就是人他们想做转型然后过来跟我交流我觉得如果这些上市公司往这边开始转那中国的上游供应链会非常的红海然后价格会迅速的下降

然后最后导致的就是有很多人会直接去开发或者使用机器人我甚至还预测中间可能会产生两个东西关于机器人的就机器人在这个过程中的一个的话就类似于当年的网吧就是可能在学校周围的话会有这种机器人的实验的地方然后大家去开发一些东西有的觉得很嗨或者以比赛性质之类的第二个的话我觉得会产生类似于机器人的游戏

就是电脑的发展我一直在找一个东西我说电脑的发展其实游戏起到了非常大的作用它是一个软件的极致包括人性的极致但是就是它驱使的这个欲望能让你对于这个硬件更好的一个理解和高需求突然变成高需求我觉得机器人除了除了除了那个什么赌博啊暴力啊之类的我也在想就是机器人很有可能会出现这么一种东西

它的某一种 AI 能力和它的配合用另外一种差异化的方式让大家用另外一种心态不光是你去给我干活而是我跟你互动另外的一种心态会出现对我觉得二到五年是这么一个阶段但是五年之后我觉得会有这种普及的趋势当然普及的话不一定从一开始就每个家庭都有而是比如说像之前电脑发展里面便利店开始放个电脑

然后什么机场放个电脑然后像稍微什么的酒店下面给你开几个电脑之类的就这种事情的话用户的学习成本是这个里面的混沌所以的话他的学习成本的话在他体验的过程中得到更好的一个奖励他就能变得更好所以我不认为就是这么来划分只是我觉得五年这个时间点它会突然变成一个身边的能干的东西越来越多然后大家也毫不意外的感觉

对所以听下来感觉这个第一个落地场景除了就是刚才没有涉及到工业场景如果老百姓周围的这个落地场景可能比如说像这种游戏娱乐玩具等等这些场景看上去好像是可能会推动这个行业去发展的一个场景如果前提是这个供应链的成本可以让整个成本给大家降低的话对是然后工业场景其实也探讨了很久吧

因为我的思维一直偏增量而不是偏存量替换就是不是帮着老板省钱而是帮他如何发挥更多的钱所以说工业场景的话我的个人感觉就是大家在什么时候愿意为个性化付更高的价格比如说如果通用的就是大家都一样的东西可能是 10 块钱但是完全你可以定制的这种东西变成 20 块钱

如果能达到这种效果的话工厂对于机器人的要求是完全不一样的那个时候的话是特别好的一个进入点你想嘛就是对于他来说的话本身的成本没有变然后他的中间的生产过程因为机器人带来的灵活性可以发生一些变化但是最后的结果是他的利润变得大得就是

世界发展就是我觉得有很多增量的东西是应该是机器人带来的而不光是省钱怎么去压榨我觉得这个不是这一代机器人的就跟电脑当时也不是带来这件事一样这个

我们之前其实当时跟来接聊的时候就聊了非常多文娱的事情我们会把机器人能做的事情分两块来看一个还是偏生产力工具生产力工具有两个绕不过去的坎一个是成本一个是效率就现阶段而言的话成本是可以降下来但问题是效率非常依赖于这个我觉得是效率目前来说的话是干不过这些工业机械币这些工业机械人和这些特定场景

就专机的存在是有道理的就通用性他们不需要那么强他们大批量就去这么做所以这是为什么我这么不看好机器人进工厂短期内进工厂这个原因就是因为他目前来看的话是他的成本和效率没法达到一个去变成一个合格的生产力工具

那另外一块就是情绪价值情绪价值我是觉得只要你成本下来一点你只要觉得好玩它酷炫大家都会买这为什么我们其实当时跟莱姐也聊了非常多的文娱的方面包括我们一直也在找一些能提供情绪价值的机器人的项目不管是玩具类型啊偏游戏类型啊偏玩法类型啊

就我觉得这一块才是真正的短期内可以慢慢起增量然后最重要的是它可以让大家去接受机器人的这样一个存在知道这个东西 actually 可以

进到我生活来让大家习惯这个东西存在然后到五年以后效率提升上来了这些大脑公司的话把一些细分场景的通用性能做好那五年以后就可以进一些特定的场景做一些光线范围内的通用性

我一直不太 bind 就是这个上来我做所有范围内的场景的通用性这个事情也不太可能就像自动驾驶一样也是我园区对吧我高速公路的货车我园区内的货车就还是 specific taskspecific environment 很难说我 one thing fits all 就即使是人也是有 training process 和 learning curve 的我们等于还是要在

在这个上面去 train 不同的 model for 不同的这个场景给不同的机器人去做所以短期内我是觉得五年内娱乐向文娱向的机器人是很有机会然后到五年后然后五年内也有非常多的这种极客和北美这些人群会在自己的车库里面开始改机器人

对这个非常的重要这个决定了我一开始跟代言聊的时候提到了一个点提到一个点是我们是完成的一个事还是提供了一个产生新内容的工具这个是非常关键的我们认为如果提供的是一个产生新内容的工具它的内容价值会带着整个工具价值上升

而我们无论是电脑如果电脑上面只有一个 word 你不可能买你手机如果把所有非苹果的或者非原配的这些应用删掉你不可能买我们认为机器人不可能说是未来进入到家庭机器人里面的所有东西都是新成可能这是不可能的事这样的话反而会容易陷到当时 RBM 和微软配合然后配合起来把苹果打掉就是那段时间苹果过得非常不好

所以我们从一开始就在思考 AI 和机器人合起来是一个图南然后我们希望逐渐降低它的开发难度因为它能做的事情太多了逐渐降低它的开发难度然后这个应该是整个路线上的关键当然开发难度降低到一定程度也许有人拿它去作为一个工厂上的某一个工位 OK

但是本末是反的就是因为我们降低了开发难度因为供应链使它的成本降低它的利润空间流出了这批开发者的利润空间整个生态就开始赚钱了对这个是真正 AI 和机器人的商业模式上为什么我说历史是一模一样的就是从现在就已经能体会到很多这样的情形

刚刚来就还提到数据这一块我觉得五年内大家基本上还是以产生数据收集数据为主就就我觉得世界模型这个事情我可能相对来说比较悲观一点我觉得一个好的 simulator 的诞生能在里面产生非常 quality 的能用的能用做 training 的这些合成数据

可能还要很久的时间我这点比较悲观一些我觉得可能五年之内基本上还是要依赖于不管是真机也要操动补的现实物理生活中产生的数据来去做这些核生数据可能会去把这些周边的一些东西给补齐让你有更好的 results 但是还是围绕真机现实生活中物理产生的数据去做

是的这个我同意泰德的我觉得在这个发展过程中就是完整的世界模型可能是能给人用的但比如说你把一个雪球放到一个火堆上它没有化这个对于人来说是个很意外的事人的世界模型所不接受的但是对于机器人来说 I don't care

就是这个不是我关心的事所以他所需要的你要做一个给机器人的就是你说的世界模型是一个机器人的他就不在意那些点吧那些点忽略掉他只在意我最后 care 的那些 task 就是你说的刚刚那个聚焦的那个眼神聚焦那个点就把很多东西都 blur 掉

对 太多的东西我完全不看就比如说有些人就是可能就是比如说有一些假装盲人的然后戴着墨镜然后旁边过一个美女她还看一眼这个对于人的世界模型也是不接受的但是对于机器人来说这种东西完全无所谓但是机器人它本身应该建构一些东西

那村然后 22 年的他在有一个论文上面提到了我只是把它翻译成机器人该需要的东西就是世界模型只值其两个作用我们不说它里面还有什么值其两个功能第一个功能是预测第二个功能是补全信息至于补全是什么数字呀什么是虚拟物体呀之类的没关系反正它本身功能是这样的

但对于预测来说的话机器人现在是自身预测 MPC 然后加一些 learning 的方式他预测的很好他预测不到的是我的行为造成其他东西的一些变化比如说把水杯打倒但这个也是很容易去学进去的也就是说他关心的是我伸了个手把水杯打倒以后我不能伸这个手这个问题但是补全信息对于机器人来说的话对于数据更重要只有三类信息在我看来第一类信息的话就是真正的空间信息或者李飞飞干的事

空间信息和约束信息我们之前做咖啡训的时候出现过一个小小的一个 bug 这个 bug 就是你放咖啡那个交囊之前和放咖啡交囊之后完全同样的画面所以的话他有一个下意识他自己理解半天然后他重新打一个交囊还有 on the side 这个这就是世界模型的一个空间信息的缺失对于人来说的话丢进去了他这样一个空间

人是有这个概念的前面放一张纸然后后面放一个水瓶然后人是有就是先放个水瓶再用纸遮到住人是有叫做物体恒常性也是这个文书里的就是他不会认为后面水瓶消失了然后尤其对于小孩你悄悄地把水瓶拿走然后把这纸一拿开水瓶不在了他还特别惊讶这些全是空间信息

这些信息是现在机器人里面光是靠感官不 OK 的这个就是需要补全的然后我们也在做然后第二个的话就是约束信息约束信息就简单了你看见一个比如说就比如说这个鸭天鹤你看见它长的这个形状你就知道这个东西不是 0 就是 8 不会有其他的你看到上面的这个盖你想象中它只有这么一个维度

这些东西是引导人脑子里的机器人先缺这些东西我们现在训练让机器人搞按键之类这些东西它是在通过这种方式交互世界并且理解这个事看见长得突出来这块他就想去按一下然后第三个就更简单了第三个就物理信息物理信息的话包括软硬然后液态固态然后它的重量并且物理信息

有一大部分我们先不考虑它是不是一个单独的模型我只是为了完成这个功能拿到这个信息我发现思维什么的话能解决大部分然后现在就是如何把这些信息再用到我的模型里面作为一个指导它动作的一个输入这个就是我所描述的机器人所需要的这个世界模型但是有了这个世界模型之后它没事干去给你开开灯网或者办公室里面溜达一圈喷几个水壶

它所积累的这些信息可以作为最上面最大的世界模型信息的数据它们的相互关系是共同起来的这个就是未来可能我预期的话快半年左右大家就会看到一些这样的东西也许在两年左右的话它就是机器人发现这个是个必备常识然后增长到五年左右的话它基本上需要操作的东西它已经全部具有

所以说这个就是我当时说我说第一个后面会发生的事

说到这个跟北美的这个公司的合作就前段时间也是这个派跟对包括派星辰对就是你们的这个合作的一个工作也是这个刷爆了这个朋友圈和各种社交媒体对这块可以稍微讲一讲吗比如说你们的合作的形式分工就是就现在可公开的一些信息我们在数据和模型两侧做的事情比较多

然后当然的话他们未来的话也会是采购我们的机器然后数据和模型的话大家就发现了一种相互之间的互补的信息吧这互补的信息包括我们有时候对于物理世界的一些理解和他们对于数据世界的一些理解

就包括如何去训模型如何去采怎么样的数据它有可能丢失什么有时候这个是物理上面的一些概念常识或者做机器人的话会想到我们的某一些信息可能对于他们来说是更加重要的这些信息的话是不是应该他们在训练的时候要想办法去把它给弄好就之类的这些东西比较多另外的话就是还有一块如果是做模型的话

他们还是给出来很多关于语言上的启发的语言上的启发就是关于语言这一块对于模型它本身有多大的影响因为 VLAM 其实我们当时展出的那个应该是它的派灵我记得拍的视频应该是派灵我们还有其他的合作

有几条线都是在做合作那个话就是包括也发现了一些就是如何加快模型速度真正的理解加快这个模型速度对于机器人控制是非常有用的然后如何去优化就是他们的里面的之前有很多的去那个派连的数据集我们也供了很多然后包括的话如何在一个真正的场景中我们能快速的能把这个微调完成

然后中间有一些包括认知层的 bug 或者理解他自己理解混乱的时候应该加什么样的东西我们有很多细细碎碎的包括就是合作也算那个视频里面里面有一页拍的那个图是 Sazer 画的

然后 Sasha 画完以后的话然后我们美工修完以后她非常说她说还是要美工比她自己画的那个要好很多她画的那个框架然后让我们本来就直接贴上去然后我说好像跟我们的风格稍微有点差对就其实我们最紧密的时候是 daily 的 meeting 每天都要去碰像就一起要做点什么

我最近有个感觉我想分享一下最近在看一个谁说莫尔天那个作家的名字我都忘了是个法国的哲学家然后他说了没看他说他说了一句话然后突然把我感动了就是他说人生就是在一个未知的海洋中航行你偶尔会看见面前的各个岛屿然后你要在这个岛屿上拿到补给

我看到这句话突然就想到我这两年的创业历史我有一个大的目标它在很远的地方我在海上漂我要面临风浪我要分裂的花我要在每个岛屿上面去补给我所需要的物资需要找我的伙伴好像一下子的话我对于这个旅程变得释怀和坚定了这个可能是有三位投资人

然后我可能分享的就是丰盛创业的这种我反而现在平静了对于这事我突然知道我在做一个其实是个很普通的事但是这个事它因为不断地走下去对于一个人的影响对于团队的修行它就会变得

我觉得这个初心还是就是可能有的时候你在看到机会或者在热潮来临之后的这个很多的创业它可能功利性会比较强然后但是你在热潮来临之前就是可能又没有太早就是又刚刚好的这个 timing 我觉得还是比较幸运的也可能确实是因为你看到了一些这个别人没有看到的东西我觉得这个这是一种能力对我们现在虽然说是在看这个方向投资但我觉得

很多事情还是蒙蒙总总明明朦胧就可能还是要通过时间来验证很多这些想法判断我觉得可以再聊一些轻松一些话题吧你刚才这个来姐姐也推荐了一个是这个我刚有记录啊认知神经科学回头找来我们也看了然后呃刚才这个这个这个这个这个我有一天晚上然后

无意中翻到因为之前很多年前看过那天突然想到一个人到底是把他要抓一个苹果到底是编码成一个动作还是编码成一个肌肉过程然后当时想到这个书上面好像有个案例然后编码成一个骨骼的就是角度还是编码肌肉过程当时就找着这个案例然后前后翻的时候就发现这里面有讲认知和语言的关系认知和感知的关系认知和动作关系

然后我就让公司买三本然后给每一个偏向于 AI 的组发一本要求他们读读完以后分享对因为我觉得时代就包括 AI 的这个发展的过程中吧有很多我们之前不敢想的包括它跟人脑的相似性的东西现在看起来很多已经实现了对当然没有完整的实现但是各局部的功能用一个模型表示就觉得时代发生好大好大的变化对

还是要感谢 Ted 当时说真的要感谢你把什么技术这些东西都 put aside 这个事情本身我们当时看来就是一个非常遥远的事情可能是以 decade 十年为单位的事情

当时我们其实最看重最最最看重来捷一点除了就是 visionaryvisionary engineers 是我当时定义的一个词就是我以后要以来捷这样为版本去找一个可以有改变世界且非常有前瞻性的工程师我一直相信就是工程师是改变世界的人而不是这些我们做 finance 的人就 yeah 然后然后这个这个不 天泰德的话不只是投资就是天使

这个天使是真正坐到位是天使对就是这一个反正有纠结的地方但是每一次泰德基本上都是非常先完成这种完全的相信和支持然后再给出非常合理的建议

对这个感觉非常好当年其实最打动我一个点还是 conviction 就因为我们还跟其他机构不太一样我们基本上就是投人加上 idea 就很多东西都没法验证用这么长期的事情那我觉得只有一个点是值得我们去博的那就非常强的 conviction 来接当时不管拿了拿不到钱就是不管怎么样他都会出来干这个事情团队说实话当年就你跟戴冰两个人对吧对就我们两个啊

对就就哎我觉得这两年真的非常不一样每每几个月其实都非常不一样嗯一度过来也都蛮不容易的来接你平时比较喜欢做什么事情或者是比如像现在创业包括融资我觉得尤其在融资过程吧就是还是挺烦的一个一个一个过程就应该涉及到这个

你可能要面临的同样的事情凡夫讲很多遍去跟投资人去沟通包括一些推进包括创业本身这件事情也是一个积累然后又很多波折的事你如何放松自己你平时有一些什么样的兴趣爱好我喜欢看星星这算吗

看星星吗?他真的有点 understatement,有一次他带我女儿去看星星,他带了一套非常专业的设备,带到一个很黑的公园里面,然后 set up 那个设备,那个设备非常大,然后那天是中秋节吧,然后可以看到月亮,然后可以看到月球表面上面那些坑这些东西都可以看得到,

然后就整个 setup 然后超多小朋友过来围观然后路过人都在那边问就他其实搞得非常之专业对对对是是是真的这个就会这个的话有两个点吧因为我有时候会跑到之前是跑到南沙然后现在有时候是穿过深中通道到中山那边那边的就是天空比较好比较干净周围没那么亮

然后从开车的工作过程然后到那你把所有东西布起来你还在拍摄的话有时候需要两个小时三个小时在旁边就是静静的在那等想点自己事这个其实我是很爱的一个人这个对于自己来说的话特别的透彻然后去把这些收了掉另外还有一点的话就是就是包括我跟代言吧其实我跟代言的话有一点点

刚开始合到一块然后又一起做事中间更有一个很底层的一个分工就我特别相信康德所说的那个世界上只有两个事可就是值得被思考一个是头顶星空一个是心中的道德律头顶星空的话我把它理解为一个物理的世界就是物理世界和物理所有的物理律这个是我善于的还有一块的话就是本身的价值观这个是代言善于的

所以的话我觉得这些都是我觉得我们的团队的不一样的地方吧就是我在这一次创业之前把很多东西其实想的还算是比较完整无论是做公司长期价值观然后包括整个的这个路径规划和其实想的是这个可能是我之前打动代言的一个话吧就是我说是这样的我说

某一天当一个机器人他完成了绕月的一周回环的时候所有的人都会往天上看来补充自己对于就是整个宇宙的这种期待和幻想这个才是人类最大的东西我们所做的就是让他去看着这个东西因为现在的话大家可能是

当然大家不相信可能是因为某一天开始相信某一天看见看见的时候人的最底层的心底会被别人的解放然后另外一个话就是我们做机器人释放的是人的创造力和好奇心这个是真正的价值的东西对所以话我们一直说做平台大家每个人都能开发每个人都能玩得嗨起来

我觉得这些都是刻在最底层的从创业之前就是一直在思考你对机器人的热爱源自于什么时候很早小的时候很小的时候有一个电影叫做机器人 5 号然后那里面就是一个叫 Current

英文名应该叫 Current 短路就一个机器人被雷劈了他本来是个战争机器人然后劈完以后的话他就有了类似于现在这种情感之类的东西里面还有给他做那个什么什么人实验就是相当于把一个咖啡放在一个折的纸上让他喝一下让他猜是什么东西他可以说啊这像个蝴蝶之类的来证明他是有人类的情感意识的幻想从那个时间点上的话

就开始关注包括前面我还建议把我们机器人的某一些外观啊什么的不套口了就那么暴露出来就是想致敬那个东西从那个时候吧那个时候我第一次看应该是四五岁然后然后一直就是对这些东西当然一直我也干的是这一行就一直没脱离过这一行

对我觉得这个能找到自己热爱的这个方向然后一直坚持下去是非常不容易的一个事情因为我自己平时其实像 18 笔记也采访很多的这个学者就 PhD 或者是在这个领域研究的一些老师就是我常常也会问说你们大概从什么时间点

开始对这些感兴趣其实我发现其实很多人尤其是现在可能比较有好的工作的一些 PHD 就是他们都是从小的时候就是某一个动画或者是某一个一般都是某一个动画所以我后面打算把这些动画片梳理一下对对对然后告诉现在的小孩也去看一下就是这些动画可能在他们很小的那个年龄就是让他们对这个事情有兴趣然后

甚至可能长大想要把这动画片里的东西出现出来对我认为这个我下一颗种子对我认为的话这个种子的话就有点像使命感嗯就是呃你本身具有这样的一个感觉然后一开始从事这个事你就特别相信自己的使命感然后当你有了这个使命感的时候所有的困难也好啥也好就不是事儿