Deep Dive
What is the primary focus of Motphys, and how does its real-time physics engine differ from traditional game engines?
Motphys specializes in real-time physics engines, focusing on motion and physics simulations. Unlike traditional game engines like Unity or Unreal, which use built-in physics systems like NVIDIA's PhysX, Motphys offers a distributed architecture that can scale across multiple machines, enabling large-scale simulations. It also emphasizes high performance and precision, particularly for industrial applications like robotics training.
How does MicroBlocks simplify hardware development, and what makes it unique compared to traditional Arduino programming?
MicroBlocks is a graphical programming language inspired by Scratch, designed for physical computing. It allows users to program hardware like ESP32 or Raspberry Pi Pico using a block-based interface, eliminating the need for complex Arduino coding. Unlike Arduino's single-threaded loop model, MicroBlocks supports parallel tasks through message broadcasting, making it more intuitive and accessible, especially for beginners.
What challenges does InSpaze face in developing social applications for Apple Vision Pro, and how does it address user retention?
InSpaze faces challenges with user retention on Apple Vision Pro due to limited use cases and the device's weight and discomfort. To address this, InSpaze focuses on creating virtual social experiences that connect users globally. It also offers a mobile version to ensure accessibility, even when users aren't wearing the Vision Pro, thereby reducing the device's 'dust-gathering' tendency.
What is the significance of distributed physics engines in large-scale simulations, and how did Motphys apply this in a real-world project?
Distributed physics engines, like Motphys's, break the limitations of single-machine processing by leveraging multiple machines connected via high-speed networks. This allows for large-scale simulations, such as the 100,000-user metaverse project with China Mobile's Migu. In this project, Motphys's distributed system handled real-time physics interactions, while Unity managed rendering, showcasing the scalability and efficiency of distributed architectures.
How does MicroBlocks enable real-time hardware interaction without physical connections like USB cables?
MicroBlocks uses Bluetooth or Wi-Fi to establish communication between the programming interface and the hardware. This eliminates the need for physical cables, allowing users to program and control devices wirelessly. The system transmits the entire program to the hardware in real-time, enabling immediate feedback and interaction, which is particularly useful for educational and prototyping purposes.
What are the key limitations of Apple Vision Pro that hinder its widespread adoption, according to InSpaze's experience?
Apple Vision Pro faces limitations such as its heavy weight, which causes discomfort and leaves marks on users' faces, and its lack of compelling use cases beyond novelty experiences. Additionally, its high cost and limited ecosystem of engaging applications contribute to low user retention, with many devices ending up unused or resold.
How does Motphys's physics engine contribute to the training of embodied AI and robotics?
Motphys's physics engine provides a high-precision, real-time simulation environment for training embodied AI and robotics. By accurately modeling physical interactions, it allows robots to explore and learn in virtual environments, generating synthetic data that enhances their intelligence and adaptability in real-world scenarios.
What is the role of MicroBlocks in making hardware development more accessible to non-experts?
MicroBlocks lowers the barrier to hardware development by offering a block-based programming interface inspired by Scratch. This approach simplifies the process of coding hardware, making it accessible to beginners, including children. Its real-time feedback and wireless capabilities further enhance usability, enabling users to experiment and prototype without extensive technical knowledge.
What are the future expectations for VR/AR and physical computing technologies in 2025, according to the guests?
The guests anticipate advancements in VR/AR and physical computing in 2025. Motphys aims to accelerate robotics training through its physics engine, InSpaze hopes for a more affordable and accessible Apple Vision Pro to expand its ecosystem, and MicroBlocks looks forward to integrating spatial computing technologies like Victor Bright's Dynamic Land to enable collaborative, real-world applications.
- InSpaze易明分享了在Vision Pro上开发社交应用的挑战与机遇，并展望了虚拟社交的未来。
- Motphys崔汉青深入剖析了实时物理引擎如何赋予虚拟世界更真实的物理规律，以及在游戏、具身智能、数字孪生领域的应用。
- MicroBlocks邵悦展示了物理计算平台MicroBlocks的特点和优势，如何简化硬件开发流程，让人人都可以通过编程改变现实世界。
Shownotes Transcript
本节目由津津乐道制作播出
各位您好大家好这里是 RTE 开发者社区和金星乐道博客网络共同制作的博客节目编码人生今天我们是在 RTE 开发者大会上跟大家来做的一期开放麦那么今天的话题其实有一些丰富早晨和下午的话题我们聊了很多大模型实时音视频包括我们最近出的 Cloud 新出的可以操作电脑的 AI 我们讲了很多这些东西
当然了我们的 AI 也好 实时音视频也好 其实并没有办法去摆脱我们真实的物理世界那我们今天下午最后一个议题呢 其实是想跟大家聊聊空间和物理计算这一方面的话题那首先介绍一下我们今天的嘉宾 第一位嘉宾 其实我是我们的返场嘉宾 InSpace 的一鸣老师
朋友们我是一鸣这次他在这有一个展台而且恰巧跟我们的展台挨着昨天我已经看了一天了我估计你演示中的那个 Vision Pro 已经被好秃了是吧所以一会儿呢我终于看见你们的产品了一会儿请你多介绍一下你的产品好吧我们第二位老师呢是汉青老师
大家好,我是汉青来介绍介绍你的公司是做什么的吧因为他们的公司我可能都知道是做什么的我们公司名字是 Morphis 就是我们自创的一个合成词前面 MOT 是代表 motion,就是运动然后后边 PHYS 是 physics,代表物理我们做的是实时的动作物理引擎
就是做各种实时的物理仿真技术那你们的产品是面向怎么样的一个用户是谁会用你们的产品解决什么样的问题呢我们的产品现在是以 SDK 的形式存在的当然我们也是带一整套自研的工具链就是可视化的调试和性能分析的工具那我们这套 SDK 是承担了实时物理仿真的工作现在我们主要用户分布在游戏行业除了游戏行业之外还有一些
做实时事效的比如说在手机上做互动性的应用壁纸这些也会用到我们的技术我们另外一个正在研发的方向就是我们的引擎除了做这种事效性的实时无力防震就是看起来 OK 就行的我们同时正在把它发展成为
精度比较高的这种能够用于指导生产实践的高精度的实时物理引擎所以目前我们这条线是目标的是巨声智能这个仿真的赛道更偏向于工业应用这个领域是尤其是训练机器人的时候我们可以提供非常高性能和高精度的物理仿真环境
然后让机器人在环境里面探索学习最终是可以提取很多合成数据出来用于增进巨神智能的让它变聪明
明白那现在我们的公司在这个整个市场里属于什么样的一个生态位呢我认为我们是处在这种中间件的生态位就我们的底下是操作系统和硬件我举例来说我们去年年中到今年花了很多时间
对接华为华为现在是我们的客户那我们的系统是内置到前几天发布那个 Harmony OS Next 里面成为它内置的物理引擎然后那我们对接操作系统和华为这些芯片比如海思的 GPU 做了很多适配的工作然后能够把这些硬件和系统的算力发挥出来
明白然后再我们出来就中间层然后我们往上是对接的各种应用比如这个鸿蒙系统里面它的天气应用就用我们的技术去做一些效果像下雨下雪这些这些效果它有它有互动性的效果嗯
OK 那一会儿会请你慢慢的介绍一下你们的产品在应用过程中的一些故事好吧可以下一位嘉宾这位嘉宾是昨天我一直绕了他的展台绕了好几圈的一个嘉宾甚至下午还做了这个视频的访问就是我们现在都在讲
智能硬件 AI 硬件但是好像这些东西都是别人做了我来用但是并没有一个我可以去参与他这个制造过程的这样一个硬件产品昨天我终于发现了就是少岳老师的这个产品来介绍介绍吧可能我们很多的听众并没有看昨天的直播是吧可以给大家介绍介绍你是怎么样一个产品
好的大家好我是邵岳我是 MicroBlocks 这个社区的一个推广人在 MicroBlocks 它是一个受 Squash 启发为物理计算而生的一个图形化编程语言这里面有一个物理计算但它实际上更多的是像一个翻译过来的词就是我们
我们很少会提到说叫物理计算那简单解释一下实际上它就相当于是以前我们要对一个硬件进行编程我们要学 Arduino 然后我们要写很多的代码我能驱动一块 ESP32 或者是一块 Pico 2040 的板子
那有了 MicroBlocks 以后它为什么叫受到 Square 这启发因为 Square 这是现在小孩子拼积木编程的一门语言那我们就可以用拼积木的方式帮助我们去完成一个硬件的开发那这样的话我们就可以有一个很低的门槛去完成这件事情
而它并不只是一种说我简单的把一个语言变成了一个 blocky 的一个积木块的模式它实际上是把一套就是我们基于 Square 的一个 mySite 就是一个心智模型封装到了一个 VM 里面什么叫心智模型能给大家解释一下吗
非常好但是还是需要有一些了解比如说我们之前如果写 Arduino 的程序的话它基本上是会有两个默认的方法比如说一个是叫做 loop 一个叫做 setup 那么这种模型就是说我所有的初始化要写在一个里面然后我整个的一个大程序就是一个 loop 我要在里面去写所有的这些程序那它可以简单理解为是一个单线程的一套这样的一个过程
所以你要用惯了这个 I don't know 的话你就会认为好所有硬件开发基本都需要这样我需要在里面去考虑每一个事件它的一个处理方式当然你可以用一些中断比较复杂的方式可以实现其他的功能但你整个的 mindset 就是
会认为说我很多事情要一起做是一件很麻烦的事情就是它是一个单线程的循环它必须做完这个再做那个对对然后这个就是我们认为我理解就是你要学 I don't know 可能这个东西会深入到你的脑子里但是如果你要是一个小朋友你从小学的是一个 squatch
那 Squash 里面它会有很多我们叫做帽子积木那所有的帽子积木都是可以开始一个任务的那就是在电脑里面的帽子积木你可以点击律棋啊或者是点击角色啊因为它是控制电脑的所以有很多的帽子积木然后呢它在执行的过程中它会有一个叫做广播消息
那这种广播消息实际上它就是一个并行处理的一个能力也就是说我广播一个消息我说 run 那所有接收到这些消息的任务都可以同时执行那这种我们叫做 my sign 就是说他会知道啊我其实更接近于我生活中实际在做的一件事情比如说我可以一边吃饭我可以一边看电视那两个任务是可以并持进行的那我就可以说好我需要这两个任务同时帮我去做
我不需要关心底层是怎么实现的嗯所以我们就简单理解就是说我们认为有一种模型是叫做 scratch 的 my side 就是说他会非常擅长用于这种帽子积木和呃各种广播消息去串联程序那另外一种呢就是我们说基于啊 duno 的就是他必须知道是一个大 loop 嗯在 loop 里面你需要人工的去考虑啊我这个占用这段时间那我需要等待多少然后下一个要等待多少嗯嗯
所以就是简单理解这是两种不同的这种心智模型更像我们以前用计算机可能以前是那大型机单机的我一次只能跑一个任务那现在可能你在你的这个框架之下他可以同时跑多个任务同时实行一些事情对就是你完成一件事情的方法会有很多不同
比如说你在 Aduono 里面你可以在那个 loop 里写超长的一段程序因为它不限制你但是你在 Microblast 它每一段程序的长度是有限制的比如说你不能超过 1000 个字节它有一些性能方面的考虑那这个时候我怎么样能够说把这些一段一段的程序拼起来呢那其实对于呃
学过 Square 的小朋友来说他会很自然的想到我实际上可以在一个程序执行完以后发一个广播然后我下一个再接受到这个广播用一个帽子积木它相当于是两段程序我就可以通过这样的方式把屏幕把这个程序自然的拼起来
刚才我编成你的消息机制对它实际上整个的在 MicroBlocks 里面的消息机制是它一个最核心的一个能力包括它内部的消息机制以及它最外的消息机制比如说我们多块板子之间进行通讯的时候它也没有用到一个类似于 API 的一个形式它更多的是用到一个叫做相续广播它可以基于蓝牙广播消息也可以基于 WiFi 广播消息
所以就是它会有很多自己的一些处理的方式所以我们讲它会有不同的这种心智模型这个就叫心智模型而且我发现你的产品还有一个特点没有线对
就是他摆在桌上我说你线呢他就动起来了以前我们去搞一些智能硬件好像都要有一条线别管是 USB 线还是串口线我必须插在上位机上然后他才能干活我说你这个厉害线呢
是的这个也是 Michael Blouse 的一个特点就是说我们已经完成了一个蓝牙串口去直接跟我安装了 Michael Blouse 的硬件直接进行通讯也就是他在初始化的时候这个通信就已经建立了对然后他的通讯不只是说我的程序是在蓝牙端去呃呃
调用内部的一些能力然后呢我完全是在我的客户端做一个调用而是说他把客户端的写的程序可以实时的传到你的这块板子里面他传的是数据不是一些动作他传的是你整体的程序
程序也就是说我在这边拼接积木让它去做了一些操作这个操作实时的就会传到你的板子里并且你点击积木的时候这个板子比如是个小车它会自动就会跑起来所以这个也是一个它非常我们叫做构建实时应用实时环境的一个能力其实也是又回到了再重新讲一下还有一个 message 在 Square 里面它非常重要的一点
当然因为我是教小孩 Squat 的所以我经常会拿它来说可能有些大家不清楚就是它有一些特点就是所有的积木点击就能看到结果也就是说我点这个小人让他走十步他这个小人就能走十步能看到效果我加一个重复执行他就能一直走
然后加了一个撞墙就反弹会一直反弹所以就是它虽然很简单但是它可以实时的获得反馈那在原有的比如说你在 Arduino 里面你是不具备这个能力的因为你所有的程序都需要写完以后编译上传运行然后运行的过程中你可能需要打开一个串口连着线你才能够知道它到底是怎么样的一个实时反馈信息
那这个过程中如果你发现有问题你又得重新编译上传然后运行嗯那这个过程就是变成一个非
非常的没有及时提供反馈而且非常琐碎对然后包括其他的一些硬件编程环境它基本上也是沿用了这个因为它只是用 Blocky 封装的那些积木代码所以它的整个的这些流程是不能省略掉的明白而在 MicroBlocks 里面它实际上是把这些我们老说就是为什么很多的这些编程工具它一下载要下载一个 G 的东西
然后 Michael Blouse 的编程软件只有 10 兆这个差距也是一个数量级的差别为什么呢其实你可以理解就是所有其他的编程工具是需要背着一个工厂到你的本机的
而在 Michael Blouse 里面它是这个 VM 就是针对这个板子所有能力的一个构造的工厂已经帮你录录到这个板子里了所以你不需要背那个几个 G 的编译文件然后让你在本机里面能够去编译这些东西我所有能力它执行就好了对我已经帮你做到了 VM 里面然后这个 VM 又给你提供了一个对外的实时的一个蓝牙的操控能力
等于你做了一个在硬件和软件之间做一个中间层做了一个框架对是的然后通过这个框架我们就可以像用 Squatch 一样用积木去操控我们的硬件刚才少岳介绍完这个东西我是觉得今天我们三个嘉宾是经过我们 RTE 社区的小伙伴们精心挑选的为什么呢一位是自己搞了一个硬件一位是自己搞了一个硬件
一位是用 SDK 希望去驱动一些硬件还有一位是用现成的硬件做自己的 APP 的对我想继续来让一鸣老师翻场因为今天我看到了你们非常精彩的在 Vision Pro 上的应用你那个展台应该是这次
市集最火的展台之一了是他们有反馈一直在排队对一直在排队甚至把我们的展台都挡了所以想请你来介绍一下你们最近从上次录音到今天你们最近的一个进展包括 Vision Pro 这一个话题昨天在访问的时候其实我也问到你们同事然后其实 Vision Pro 呢可能在大众的这个视线里面慢慢的好像被淡化了不像一开始时候大家提的这么多了甚至
我们上次录音的时候大家还在说体验一次一小时一百块钱现在好像大家慢慢的他的兴趣慢慢的消失了但是从开发者的视角可能有一些不同的理解能给大家来分享一下 Vision Pro 在过去的几个月当中它的生态用户会发生了怎样的一个变化那我们就客观一点聊客观的聊的话呢
现在看来 Vision Pro 的整个热度确实是没有以前那么高的那么现在 Vision Pro 购买了 Apple Vision Pro 的用户呢有一部分是已经卖了有一部分是退了有一部分是卖了我从闲鱼上经常能搜找然后还有一部分呢应该是在吃灰这个 Apple Vision Pro 也好或者是其他的 VR 设备也好
他们总有一个使命就是吃灰为什么呢我自己大概的判断像 Quest 也好或者 Apple Vision Pro 也好当你把它带起来了之后它确实会给你一些非常 OK 的一些体验甚至是平时其他设备没有办法给你的体验那么关键的问题是你没有一个非常清晰且足够的
一个需求能让你带起来这是比较难的一件事情就是它的场景和需求没有这么强对对比我带这个二金城的一个东西在脑袋上它可能就没有这么强对因为人本身就非常懒如果我要看电影手机能满足我就用手机看我随手拿起来就看对要么我就用电视看那么你想象一下比如说我想玩游戏
什么时候打开我的 PS5 他都要升级系统真的你真不常玩真是这样我用 Switch 也是这样每次打开都是在升级系统我现在是想玩游戏他会告诉我你先升级系统那
那我就会纠结那你先升着吧等我下一次玩游戏的时候再说等下一次的时候又需要升级又要升级系统太真实了说明玩的太少了对就是玩的太少都吃灰了那么为什么会出现玩的少的原因呢现在看来 InSpace 是在 Apple Vision Pro 或者是 Vision OS 这个生态上面大家投票的话是在前十这个投票结果里面它是第三名的一个产品
那么这样看来的话呢整个生态能打的产品或者是能让人想着去用的产品其实是不多的
一个游戏机如果它的游戏内容不够丰富的情况下那可能就会出现我这种想不起来打开好不容易想起来它要升级系统有这种尴尬的局面那么同样在空间计算领域可能也有这个问题对那么像 InSpace 它提供的是能让你认识全世界各地的其他 Apple Vision Pro 用户的一个机会 OK
那么这个机会呢是如果你连续玩三四天你的需求就已经满足了所以你在试图用社群来吸引这些用户的重复使用率是的那么假如说我们有些朋友在线下本身就是非常聊得来的朋友像我们这样 OK 那么现在 inspace 提供的是一个预约比如说我们周三下午聊空间计算
那么这个活动会在每周的固定的时间会进行那么感兴趣的人都会参与进来那么还有一部分人是非常想参与但是他有一些临时的一些变化变动之类的有可能会出现这种没有办法用 Apple Vision Pro 参与我昨天听你们同事说你们还有手机短因为你设计了一个产品你不能
因为你没有 Apple Vision Pro 或者是现在不方便带 Apple Vision Pro 就是不能因为他懒所以就不用了对所以我们提供了手机版本 OK 那么这样的结果就是又加剧了 Apple Vision Pro 吃灰的可能性手机太方便不用手机了对手机很方便又很真实不管我在什么地方你现在聊太客观了对不管我在什么地方我就可以拿出来因为我的核心诉求是
和你们聊天是社交对社交不是空间对在空间聊天假如说我们现在的这个节目在同一个环境下我们大家的注意力想聊的话题是非常具体的我们不会走神那么
如果我们已经明确了非常明确的一个主题要是围绕这个主题来讲的话呢其实这个环境是不是那么的重要呢未必也未必对所以可能还是一个话题的一个重要性像这个沉浸空间它有它自己的一些问题一旦进入了沉浸空间你没有办法打开其他的 APP 对比如说我想和你聊这天嗯
顺便看个电视没问题吧那么现在看来 Vision OS 在底层的一些设计层面上它确实是有这些我个人觉得可以优化的一些点就是现在它实现不了这样一个对实现不了对就是这边是个电池屏幕那边是一个朋友坐在那这是它没有的对但是人实际上在一个空间里面同时我们做的基本都是多线程的工作
对我不可能我只对着你一个人聊天剩下的事情我不看了比如说在现在录播我不可能不去看下面我们听众人的反馈所以像这种这也算不算什么用户体验上面的冲突总的来说我大概的感受就是还有一个比较重要的一个点这个重量确实是不可忽视是这是所有人跟我说的问题
这个我已经练出来毕竟是我工作的一部分习惯了练成一个铁脖子我这个脸我这苹果肌啊以前是非常 Q 弹的现在你看那这叫苹果肌而且他对这个发型如果是如果今天有视频就好了大家可以看一看我以前用 Apple Vision Pro 之前头发不是这样的那
按道理讲它会压扁吗你现在反而你越来越像金毛狮王了用的次数多了可能就这样然后这个对女性如果我平时出门要是稍微抹点油啊或者怎么地的嗯
我也不愿意不会愿意用 Apple Vision Pro 它会粘是吗它在使用的过程中一是压压完了之后时间长了等你摘下来它会有印子它可能会把你脸上的妆啊粉底啊之类的一起就带走了那确实是个问题对然后摘下来之后反正是一个圈对对对那它总值还是因为它这个体积现在还是没有办法控制到之
其实体积和重量应该是有办法控制的就只不过是我不觉得 400 克和 600 克有多大的区别 100 克和 600 克是有区别的对是是 400 和 600 它就是重而且他如果追求这沉浸式体验他必然还是别管多重哪怕是 100 克他也照在你的眼睛上对还是解决不了你刚才说的这个对对问题对像像
Ray-Ban 雷鹏也在出类似的其实我下一个就想问你这个问题既然你主动提出来就聊聊雷鹏吧像雷鹏的它的体积和大小这方面可能是一个比较合适的一个状态因为我自己不戴眼镜我体验过戴墨镜我的墨镜差不多是一个 50 克左右的一个墨镜我依然觉得重
就是非常不舒适因为你平时不戴眼镜你像我平时戴眼镜可能会好一点是吧是换个墨镜可能没有特别大的压力而且雷鹏的设计是又是作为一个智能眼镜也是太阳镜的这种情况下有些情况下可能有一些适当的
装饰和美颜效果装逼属性对对对如果它的电池比较 OK 就是我能拍个二三十张照片我是觉得是 OK 的对但是它其实能够实现的沉浸性的这个体验就没有了嘛对毕竟是个开放式的眼镜大家可能戴不了这样的东西是是是但是
但是你们现在这个产品还是在 Vision Pro 上去做你既然刚才客观的提了这么多问题那为什么你们还是在坚持在这个生态里面去做这些事情首先我们先不说 Apple Vision Pro 或者是其他的产品成功还是不成功或者是达到了什么样一个高度这个方向我是认可的作为社交或者作为互动因为今天上午的时候也有大概的聊过我们的前辈们
从文字通讯然后后来的飞鸽传书都是想办法在解决效率啊沟通啊社交啊这些问题对那后来开始有的 BP 机传呼啊手机大哥大然后再后来开始慢慢的想办法让你的信息同步突然想到假如说 70 年代你想象一下第一批买电视机的那些人嗯
嗯买来了没有节目就一个台对还只有晚上七点之后放固定时间对然后随着这个时间其实从 70 年代开始我们接触了屏幕那么关键的问题就出在这我现在手上拿着一个手机嗯
整个互联网平台现在是连接了有差不多 50 亿左右的人不管是用微信聊天 iMessage 或者其他的方式大家都在保持着这个社交联系但是人和人之间都是隔一块屏幕的
对都是把你的消息你的真人变成一个扁平的屏幕呈现在另外一个人眼前对那么我们观察世界的这种方式原本从我们出生的那一刻开始它本身就是个立体的对我们被忽悠了 30 年
不能说被忽悠吧实现不了嘛在之前技术达到不了因为我们从一个关卡世界的角度从立体的视角然后后来因为技术原因把我们的注意力被一个平面的屏幕电视屏幕电脑屏幕手机屏幕 iPad 屏幕它全是平面的我们被委屈了 30 年被委屈了 30 年那么现在看来
像空间计算设备是有机会去去掉这块屏幕限制的这是我相信的屏幕限制这个假说也就是说你押宝在于说我们将来的交互形式一定不仅仅就是一块屏幕一定是基于更高维度的空间这是一个技术发展或者是大家追求的一个必然对
那么我们现在只不过呢是在用 VR 或者是头显这种设备在眼睛的前面放了两块屏幕在解决和现实世界的一个交互啊或者是虚拟世界的这种展示啊这种行为那个话要是说的再长远一点他有可能不是把镜片或者显示屏放在眼前马斯克的脑机接口也不是不可以只不过是什么时候的问题嗯
总之最后还是要把这些信息传递到大脑现在看来比较直观的方式就是放在你眼前让大脑知道前面有东西以后直接就坐入你的脑神经之上对
那这样听上去其实是比较合理的也挺可怕的这样能考虑到一没有重量它又不会压我的苹果机只不过这一步还没有到来但是他们都在解决同一个问题是让我能沉浸的
和我原生的观察世界的方式融合的这种体验能让我再次体验出来明白这是屏幕相关另外一个呢作为社交产品这个眼神交流表情交流肢体语言是非常非常重要的像公司招聘的时候 HR 一般是会希望面对面聊天除了就是没有办法对那就是视频聊天了对好
那么像当面求婚很合理吧很少有人发消息某某某亲爱的我爱你嫁给我吧这有点神经病对吧就感觉就是个骗子对要么就是我想和你分手发短信对谁都不尊重然后呢就是像如果信息足够或者是这个仪式感足够的情况下其实我们是没有必要变对面的
那我们现在需要的就是一个面对面充分的去感受彼此之间的这个轻微的表情情绪之间的这个变化现在空间计算设备的目前看来 Persona 能做到一部分 Persona 它比较好的点是它像你对像你而呢是微表情这块它还原的还是比较到位的比如说生气惊讶这些情绪都是在的能够准确的读到你的苹果机对对对对
那么现在看来下半身没有那么的重要这个下半身的意思是比如说我们现在聊天我们聊天的时候其实你的从跨部开始已经是被桌子挡住了的对在这个过程中它对社交带来不了特别大的帮助尤其是沟通这块带不了那主要是手
手势和脸部表情这是比较关键的一个点可能现在 Persona 其实能做到的也是从胳膊到脸部的还原其他的就不可以了提到这个问题我得重新把问题抛回给韩清因为你说的都是在模拟一个人把你脸上的苹果肌采集过来他们好像在尝试制造一个苹果肌
因为在做渲染在做虚拟的这种空间的这种引擎包括会利用 SDK 的方式把这些东西复原出来那你们做的可能就更像一个造梦而不是复制出来一个它的苹果机就未必是要复制其实我们做的事情可以用另外一种方式去考虑那给我们讲讲你们是怎么考虑这个问题
因为今年空间计算啊包括也有很多朋友在提叫什么世界模型是吧提到很多这样的概念那到底这个领域现在是什么样一个状态你们作为从业者都是怎么想这些事情的问一个很大的问题就是你有没有想过当上帝没想过我觉得这事太累了我要照顾太多人了
但那可能是当这个现实世界的上帝很累但是如果你当一个虚拟世界的小上帝就他这个世界没那么大那不就是玩那个天际线 Skyline 吗
其实很多游戏里面给了你类似的感觉你可以控制一个虚拟的小世界可能是在不同的尺度上不同游戏不同的尺度那么会给人们那种很好的感觉那这是一方面然后如果这个虚拟世界
足够的真实就它里面的各种物理定律和现实当中的物理定律都是一样的然后数值的差异比较小嗯也就是用专业的说法是这个 sim to real 这个这个问题是比较小它很它很接近嗯
那么我们就有办法用虚拟世界里面发生的各种各种事情去指导我们的工业生产呀或者是我们的很多实践的工作这个其实就是我们在做的事情我们做了很多很多的工作在不同的尺度上在不同的
精度下用某种方式去拟合现实世界这跟我们以前经常提的一个叫数字孪生的一个概念是不是有一些类似有一些相关性那我们传统意义上的数字孪生就是大家所看到的数字孪生更多的是把现实世界进行建模然后我们在屏幕上可以看到一个复原的城市它很像对吧
这个通常来说数字转向第一步先做这个对然后呢第二步大家又想这个可能还不够嗯我还想把现实世界当中的信息实时的同步到虚拟世界里面嗯比如说我有一个工厂那工厂各个生产线的工作的情况啊或者或者我有一个大楼楼里面的每个灯它开着还是关着嗯
然后它的电力的消耗是怎么样这些信息能实时的同步到虚拟环境那你就可以看到透过虚拟世界看到现实世界那这个是第二步那再往后人们会想到如果说我不满足于此我还想知道如果某些事件发生之后这个世界会变成什么样就举例说
如果发生地震了我模拟一个地震出来看看这个大楼怎么样是的或者是火灾了封闭了某些出口然后这些人应该怎么样去逃生那这个就是第三个阶段去推演这个世界第三个阶段现在我认为还是没有太被能实践出来
行业发展到这个地方需要很多技术的革新才能够让数字完成走到第三个阶段其中重要一点就是需要有很强大的算力支撑同时还需要很强的物理仿真能力
才能在数字世界里面往后去推演还原历史和反映现实是没有那么困难的因为数据都已经在那个地方我们把它同步下来就好但是推演未来就没有那么简单它需要很多很多工作那你们现在做的会是在哪个阶段呢我们现在从应用的角度来讲所处的阶段先是在
比较容易解决问题的就是游戏视效这个领域嗯我们做了很多工作能够让我们的物理引擎算得很快嗯
满足实际性的要求然后不是特约精准用牺牲一些精确度来换取它算得很快那你们跟这种 Android 等等包括 Unity 等等这些游戏引擎又有什么区别你可以认为我们的工作是这些游戏引擎里面的一个重要组成部分像 Unity 和 Unreal 它们默认都内置了英伟达的 Physics 作为它的物理系统
当然像 Rio 有它自研的在 Beta 阶段的 Chaos 它有另外一套物理系统在运行那么我们所做的就是类似于 Physics 或者是 Chaos 这样的工作你是它们其中的一个组成部分是我们工作是游戏引擎其中一个组成部分我们并没有说
想做一套完整的游戏引擎那个已经有人做的特别好了而且是一个非常庞大需要整个生态的工作那现在你如果说刚才你也去跟英伟达或者你自己去开发的这样一个无人机去做了一些对比那如果我们一定去对比你和他们的差异和优势来讲的话那你觉得你的差异和优势是在哪里呢
这个很多人都问我这个问题就是我们去跟现存的物理引擎对比三个方面会有差异化第一个方面是我们架构不一样就是像您刚才提的物理引擎像英伟达的 Physics 或者我们看其他的微软的 Hardwork 或者是开源的 Bullit 或者是机器人防震领域 Google 的 Mujoko
它们一个特点是都只能跑在一台机器上就单机架构那么我们是在二年开始研发这个分布式计算
现在我们是有分布式的版本的 OK 我们也有单机的版本而且跑得很快那也有分布式的版本可以把多台机器连在一起用标准的这种万兆网络就可以做到 OK 连在一起这样我们能打破单机算力的上限以此来提供
超大规模的物理仿真也就是说不仅仅是玩游戏能用你其实是能够用在更多领域上因为你可以去做一个分布式的集群把它的性能更加极致的发挥出来是的对物理影神来说如果想用在更严肃的仿真领域那么算力能用多少是很关键的我同意比如说我有一个机器人要训练这个机器人
它要面对比较复杂的物理环境那里面的各种物理对象它很多单机总有传不过来的时候那么这个时候我可以用多台机器这第一方面就是架构上总结下来就是分布式和单机的区别那第二方面就是性能
我们如果用分布式跟单机比就甚至不所以我们就只比单机版本的性能我们跟现存的这些物理引擎我们做了大量的算法和工程优化比如说各种物理材质的统一解算然后还有在不同的主流设备上我们做了很多像数据函数优化各种计算优化甚至我们手写很多绘编我们可以让
引擎的运算速度很快那我们自己内部有一套跑分系统自己给自己跑分吗对自己有搭建一套跑分然后它里面有很多场景不同场景下物理引擎的表现是不一样的然后我们就在这每一个场景下去对比我们的
物理型和其他的就都比现在结果还是很不错的尤其在 PC 上就是 X86 的这种架构上我们比如说比开源的布利斯可能快个 5 倍到 50 倍都有可能比 Physics 有些时候在 N 卡上也快
现在有什么典型的或者你们觉得比较牛逼可以出来说的一些实际的应用案例吗像分布式这块的应用案例就是我们其实跟中国移动旗下咪咕合作过元宇宙的项目其实我们分布式物理最早的商业应用就是在
那个时候咪咕想做一个十万人同时在线的元宇宙项目然后有希望每一个角色接入进去之后都可以实时操控那么实时操控的同时还希望能够有物理解算也就是说这个角色之间不会穿膜就我的手碰到你的手这样不会人和人之间不会穿膜然后它有场景
比如说场景也要做物理解算人不可以穿场景不是简单的空气墙它有道具啊这些然后它有地形是这种情况就 10 万人这个级别那当时就找到
Unity 中国来做这个事情因为游戏引擎的开发者显然是第一个就是想到他们吧这是专业来做这个事情的然后那就找到 Unity 那 Unity 发现用他们集成的他们默认有带物的引擎用他们集成好的物的引擎
就没办法撑到这么大的规模嗯就最本质的原因是一台机器算力不够哦那十万个他只能跑单机刚才你说了对他只能跑单机那我们买最好的服务器嗯那他也是单机那他也是单机所以就是最好的服务器撑不住十万人这规模嗯所以他就不行对那么后面我们就 Unity 就找到我们然后我们来一起合作这个项目嗯嗯
最后解决方案是说所有的渲染是放在云上的每一个角色看到的画面是在云端用 Unity 的云的版本渲染出来然后以视频推流的方式传递给用户这样它有一些些延迟但是这个延迟基本上可以接受然后背后的这个角色动画然后以及角色
自身以及和各种场景之间的物理交互是我们用分布式的物理集群来解决的那渲染集群和
物理集群之间网络通信来同步这个状态你做了一个组合的方案解决了他们的问题是就是这样就分不出物理的一个商业应用案例那么我们成功的支撑了 10 万人级别这种在线的互动 OK 那还挺厉害那确实是蛮厉害
对刚才就是您问那个有哪些不一样还有第三个方面就前两个我刚才解释的是架构区别分布式的单机然后第二个性能跑得快然后第三个是我们有很好的易用性和适配性因为跟 Unity 关系比较好我们默认有一套在 Unity 里面做好的可视化的界面就是
不需要写代码你只需要点鼠标就可以搭建物理场景就体验和用原生的 Unity 的工具是一样的甚至我们做了很多工具链优化就是比 Unity 默认带的那套物理编辑器的功能是要更多的
那这个是现在在 GitHub 上我们的账号底下可以下载它是免费使用的一个 SDK 然后另外一方面我们对于操作系统和硬件的视频的兼容也做得比较好像系统的话 Windows Linux Mac 就 PC 上的系统都能跑服务器系统都能跑手机安卓 iOS 鸿蒙都可以跑
然后甚至我们可以在网页上跑就纯 web assembly 打开浏览器我们直接能跑出来然后芯片的话就是 Trabiarm 的 CPU 我们有 CPU 版有 GPU 版那你这一说基本所有的操作系统和硬件就都涵盖了主流的主流的 Race 5 我们还不支持现在然后 GPU 的话我们 N 卡还有国产一些国产的 GPU
支持但更多的在适配当中问题回到少岳这边其实刚才韩清说了很多他在这个虚拟世界当中或者是复刻这样一个把现实世界复刻到虚拟世界去做一些我们以前可能叫数字软程现在可能他做的事情会更多他可以模拟一些东西出来那落到这个实际的现实
现实当中可能我们绕不开的一个东西就是硬件设备这些东西我知道你做这个设备可能更多的是面向这个儿童教育的这个领域但是我觉得今天这个话题你也不妨去帮大家去梳理一下到今天我们很多的朋友都在说
AI 应件 AI 加应件或者是说这些我们的硬件能力的一个提升基于 AI 的这样一个提升那你应该是看了很多很多的产品那你觉得在这个角度上大家又做了哪些事情呢可能跟这二位做的事情又有一点不一样因为你要实打实的去操控硬件去做硬件上的东西可能这里又存在于他们可能写的代码就行你可能还存在供应链的问题
我们都知道中国这个供应链大家都觉得非常牛那现在供应链到底做的怎么样了是不是跟上了 AI 的这个时代这个话题对我来说稍微有点大就是我可以简单就是问一下汉青就是我现在有这么一个场景就是跟物理引擎我不知道是不是有关系因为我看到国外有一款就是产品它是这样子的
比如我有一个机械狗我的机械狗有很多的关节然后呢我需要去给它很多堕机的参数去控制一些关节让它去做运动那我需要有很多的比如说我需要让它去我当然可以拿一只机械狗摆一个姿势然后让它去做这些事情然后现在有一种方式就是我看到有国外一个平台它是做一个 3D 建模
然后他把这些关键点去就相当于我不知道用什么样的方式就能捕捉到这些数据然后他就让这个 3D 模型在虚拟世界里去做跑跳的动作然后他可以直接把这个数据拿下来然后直接就给到我这只机械狗然后我的机械狗就可以做同样的事情
他现在给你算了一遍吧结果告诉你然后你在驱动这个硬件对然后他做了一个特别简单的一个就是一个产品是什么就是因为他能够捕捉这个 3D 模型一些很细腻的东西然后他实际上最后实现的可能就是一些堕机的东西所以他当时做了一只小鹦鹉
只是想因为我有很多表情什么之类的所以我就说我们当时就特别想说能够把这个东西和我们的硬件结合起来那如果要做这件事情是需要一个什么样的一个就是硬件的一个模拟才能够去完成这件事情
就是我只看到这么一个产品但我不知道它具体是怎么从 3D 然后我知道的时候它会给我一堆多机数据我把这多机数据因为它会告诉你说你在这圈一些点就告诉我你这个多机的是放在什么关节上大概的一个就是一些参数然后它就会给我一堆数据我把这数据直接拿到我的狗上面就可以做它在 3D 模型里面规定的那个动作我觉得特别酷
我来解释一下这个是怎么做的就这个系统首先你要有一个 3D 模型然后 3D 模型是可以动的对吧那它就是有一个动画那 3D 模型的动画大概率是用一种叫谷歌动画的技术来做的它不是说整个 3D 模型表面上任何一个点都有一套函数曲线来用那个就很复杂而是说
就以角色动画就人的角色动画为例不需要控制那么多个点只需要控制十几个关节这种我们就能让角色动起来就像那个动谱你肯定见过人身上就板板可能十几个 tracker 你就
动作就可以被捕捉下来所以你首先要去抓一只狗那如果你想模拟一只小狗的话我们手上有很多宠物的动画数据就可以用也可以就是自己动捕训练一只狗然后用狗的这种动捕设备但我吃一口不知道怎么样现在像狗的这个动画大部分还是由人类的动画师来生产的
就是一针一针的去对这个关节坐标狗身上你给它绑大概可能十几二十个关节然后每一针去摆这个关节的坐标对那就可以让这个狗动起来然后主要是艺术家的艺术天赋在背后起作用它能够让这个动画表演的比较像狗比较真实这是制作流程但也可以从视频里面提
用这个 AI 技术提然后有了谷歌动画之后后面是物理仿真该做的事情就是说你的机器狗放在物理引擎里面建模就是你把它的肢体还有那个关节都建模出来关节有它的参数对吧你的关节根据你的那个电机的型号它的参数是不一样可以在我们系统里面调
或者其他的各种类似的物理仿真系统都可以调把这个狗的物理模型调好之后下一步就是要让这个仿真狗去模拟你动画里面那个狗那这个是一个控制问题控制问题就是说你是要求每一时刻给每一个电机什么样的激励使得这个控制结果能够
最小化和动画的差异这是一个控制或者是某种优化问题这里面就有各种各样算法帮你解决这个问题就是可以跑的是这样一个流程其实在 In Space 里面有一条小狗去年的时候我就希望这小狗看到人不管他在什么地方希望他的动作是
非常你狗的你人不合适他对你狗对他要摇着尾巴就要过来我不希望是我们的美术给他一些动画因为那个动画一需要美剧很多种动画二呢是他应该有自己的性格对他应该能跳到桌子上让他下去他能下去
你大师说话的时候应该有个害怕的感觉对然后这个问题其实呢是和刚才这个小阳老师提到的是非常接近的我当时想解决的也是这么个问题对我不想通过美术解决而是想通过
AI 的方式或者是某种动作让他有自己的一套动画就是我不在他或者是我们聊我们的天不理他的时候他舔舔自己的爪子摇摇自己的尾巴趴到那睡觉就好了瑞杀毒软件那个小狮子哎呦你这太暴露年龄了确实是这个最后可能还是要通过
AI 和物理仿真两个技术合在一起来解决然后我刚才正好还听那个一鸣老师说的我有一个问题啊就是首先我没有太多体验过那个 VR 的那个设备但是你刚才说那个下半身以下可能没有什么用但后来我想它有一个好处就是对于那个抖腿的人来说是可以把它屏蔽的对吧
就是加分项对加分项然后就是我有一个问题就是在这个 VR 里面刚才您提到一个屏幕然后我想问的是就是这个屏幕的大小和清晰度就是随着一个发展它到底是已经产生到一个什么样的影响就是我的一个感觉是比如
在我没有用现在的电视去看曾经的西游记的时候我并没有意识到或者《红楼梦》我并没有意识到画质这么差对对就是在我心目中那就是一个高清的那猴子可高清了但是你现在用我的屏幕去看就觉得怎么可能我们当时能忍受那么差的画质
然后我们现在在那个 VR 里面就是它的就是屏幕会越来越大家里电视越来越大然后你这 VR 屏幕也越来越大那这个屏幕就是它变得更高清更大就对于我们这个人这个它有什么样一个影响会说我们不断在追求这件事情明白其实屏幕有那么几个参数一是像素的密度像素密度越高它就越清晰但是这个呢是对人类眼镜来说是有上限的
假如说每英寸差不多 400 到 500 个 PPI 的时候人眼就区分不出来是什么情况只不过是我们在设计 VR 眼镜的时候它会有一些光学原理它有可能会把像素因为太近了它会放大放大了之后原本没有问题的屏幕的像素
又暴露出来问题了所以它可能要比手机的 PPI 要更小一点才能骗我们的眼睛这是那个像素密度的问题另外一个是颜色还原的问题我们平时观察这个房间比如说灯光或者这些杯子这里面总有一个是白其他的都是没有那么亮的白这是 HDR 决定的就是它的分质亮度到底是多少
屏幕的色彩的还原和亮度的还原它能给我们一个非常真实而且细腻的这么个表现比较好的理想值就是你的屏幕的分支亮度假如说在 3000 那么它完全可以模拟从屋顶打灯进来这个灯泡在发光的这个效果另外一个是如果我们屏幕的色深是 10 位的时候
颜色和颜色之间的过度是没有任何这个色阶的对就不是那种一条一条的对那么在这种两个条件基本上满足了那我们的眼睛基本上就会相信我看到的一定是真的对那个刷新率也是个问题但只不过呢人的眼睛是差不多每秒钟连续的图片 12 帧他就会觉得这是连续的东西
所以刷新率它理论上是越大越好只不过呢我们也是对这个感知方面其实是有上限的基本上三个参数往往这三个参数会挑战芯片因为像素一旦多了它计算能力基本上就是指数级的上升对这是个比较难的事情然后刚才有提到以前的 CUG 很清晰对那是对比而来
对如果我们那时候看到的屏幕我记得那是个 320x480 左右的一个像素对其实我们跑到电视前面使劲看的是有三种颜色的对吧红蓝绿红蓝绿红蓝绿对
其实我们看电视的那个距离比较远因为我们凑近了爸妈会骂的怕脑袋一拍站远点对吧那我们离得远了那像素的密度就对我们相对而言就已经提升了我们也观察不太到它的颜色准不准
一个 4 比 3 的画面本身的分辨率就那么大然后再加上我们广播这个后期处理这块它会把颜色啊这个信息能压就压得很低对吧反正我那个年代是无线广播带着雪花看的对只不过我们现在开始接触颜色相对准确而且清晰度相对高的设备之后然后才会发现哦原来那个不行
比较而来我觉得我可能就是觉得比较完了之后觉得不清晰那我想问现在这个屏幕它的尺寸一般到多打一个上限就不能再打了就没有意义了或者说是不是跟距离有关系对你离它多远吗对其实
比如说索尼电视一般是 4K 它的颜色校准这方面也是比较 OK 的那它官方也会给一些比较科学的一些建议比如说 65 到 75 寸就是三米的范围像只要是 4K 的屏幕只要我们离得近了一定是能看到像素的但是像我们的物理世界我们光拼拼我们的肉眼我们看不到原子嘛对不对嗯
没错吧就是剧烈的问题那在 VR 里面它这个屏幕的一个尺寸是怎么样去界定的现在看来我没有体验到比 Apple Vision Pro 的清晰度更高的但是我相信会有还会再追求更对现在因为我视力非常好 Apple Vision Pro 它是有一定的像素的那个颗粒感
它要跟手机我们平时操作手机的这个距离两个要是这样对比的话 Apple Vision Pro 的像素要低一些对但是要和其他的竞争产品要比较的话 Apple Vision Pro 要好很多好
好 今天大家聊了不短的时间其实今天想从这个无理引擎 空间计算我们今天一直延展到了这个更具体的一些其实我是觉得这是人的感受和技术能够实现的这样一个交汇点吧算是 对吧我技术到底实现到哪一层人的感受呢又能够多大程度上骗过人的感受其实我们每天如果我们如果在这个
代码的世界里去追求一个物理世界的感觉有的时候我们往往是要取得这样一个平衡的对所以呢最后一点时间啊也想请三位嘉宾用一句话来展望一下今天我们是 2024 年的年底那展望一下我们的
2025 年从 VRAR 也好从我们的物理引擎也好我们会有什么样更多的期待呢
汉青先来吧我主要的期待现在在做巨神仿真这个图我的期待就是各种机器人的各种强化学习能在我们的系统上跑得非常快好那一鸣老师呢还在继续做你的 Vision Pro 对 Vision Pro 的这个 inspace 产品是要做的嗯
你的希望可能取决于苹果的这个产品的电带这里有个非常好笑的点一个产品失败有各种各样的可能性产品本身不好运营不好这个货客这个渠道不合适之类的都会出现问题对我现在遇到的是什么呢
设备的销量不好你的天花板在这对这是我目前解决不了所以你期待它出一个更便宜或者是更亲民的一个版本对我只能期待这一点对我没有别的选择似乎这是每一个 VSPR 开发者都跟我说的话都希望对这样事实上才会扩大这个生态能做起来因为我会从非常简单的一个
我自己的出发点来解决想这个问题我就是需要更多的人能接触类似于 Apple Vision Pro 的这种产品让开发者也好生产者也好能花时间和精力在这个上面对如果要聊到 AI 这块的话我就是希望我家的扫地机器人不要再拖我的地毯了哈哈哈哈
那就说到硬件的创业者了明年期待是不是就是不拖地毯了
对我其实期待的是另外一个空间计算的一个一套环境就是最近那个 Victor Bright 的 Dynamic Land 就刚把所有的这些技术都发布了一个版本所以我非常期待他在就是接下来的一年里面就是在这个 Victor 的这个 Dynamic Land 里面他能够实现一些就是实际大家在空间中做操作的这样一些的
就是很期待看到他再往后的一个演进同时我希望能够在国内去做这样的一个空间就大家聚在一起然后利用一些可以叫做这种增强技术然后在一个平面上去做一些演算的一些事情 OK
好大家都说了自己的期待我们也期望明年大家还能坐在这看看你们对 2025 的期待咱们实现了多少好吧好的行那非常感谢三位嘉宾我们今天的这期编码人生就跟大家先聊到这里感谢大家的收听我们下期节目再见拜拜拜拜
感谢您收听本期节目本期播客节目由金金乐道制作播出您也可以在我们的官网 dao.fm 找到我们的更多内容作品如果您喜欢我们的节目欢迎在微信微博朋友圈等社交媒体转发分享您的分享对我们而言十分重要如果您希望与我们互动可以关注我们的微信公众号金金乐道播客天津的金欢乐的乐道路的道在关注后按提示操作即可加入我们的听友社群