用 声音。
碰撞 世界。
生动活泼。 欢迎 收听 what's text 科技 早知道, 我是 徐涛。 今天 我们 请 到 的 嘉宾 是 孙 驰 天, 他是 腾讯 自动驾驶 仿真技术 总监。 Hello.
欢迎来到 我们的 节目。 你好你好。
我 注意到 你是 做 自动驾驶 仿真技术 的, 但是 最近 却 会 是在 腾讯 的 游戏 开发者 大会 上 做 一个 主题 演讲。 所以 就 这是 怎么 回事儿? 为什么 会 在游戏 开发者 大会 上 做 演讲?
因为 我们在 做 的 这个 工作, 面向 自动驾驶 的 模拟 仿真 系统。 其实 我们 用到 了 很多 游戏 的 一些 技术。 公司 内部 的 游戏 部门 同事 也会 邀请 我们 去 介绍 一下, 我们在 我们 日常工作 中 是 如何 使用 这些 游戏 技术 的。 来 帮助 我们 进行 我们 自动驾驶 仿真 系统 的 开发 的。
最 直观 的 例子 就是 我们 做 的 这个 系统 可能 很 像 一个 非常 高精度 的 赛车 游戏。 只不过 我们 这个 赛车 游戏 内部, 去 驾驶 这辆 汽车 的 并不是 人类 的 玩家, 而是 自动驾驶 的 算法。 我们 要 检验 的 就是 这个 自动驾驶 的 算法 能不能 很 好的 去 驾驶 这辆 汽车, 这是 我们的 一个 工作。
听起来 就是 算法 在 开 极品飞车, 我 觉得 这个 挺 有意思。 因为 刚刚 我们 聊 了 一下, 其实 你 最 开始 你 是从 卡内基梅隆大学 毕业, 其实 本来 是 想要 做 跟 V R 游戏 或者 A R 游戏 有关的 东西。
对 吧? 是的, 命运 比较 有意思。 最 开始 我 其实 是从 研究生 阶段 开始, 就是 想做 游戏 方向 的 开发。 刚 毕业 的 时候, 其实 也是 在 一家 德国 公司 做 A R 和 V R 这种 虚拟现实 增强现实 相关 的 应用 和 游戏 开发。 后来 因为 公司 被 苹果 收购, 来到 了 苹果 来做 这样的 一个 自动驾驶 的 模拟 仿真 系统 开发。
然后 你 当时 是 说 你们的 团队 是 被 分成 两 部分, 一部分 做 还是 依然 做 A R 的 东西, 另外 一部分 做 自动驾驶。
是 个人 选择。 所以 我 就 来到 了 苹果 的 自动驾驶 团队, 来做 自动驾驶 这样 一个 仿真 系统。
那是 哪一年?
2015年 年终 的 时候。
所以 那个 时候 业界 已经 有 共识 了, 就是 游戏 的 技术 是 可以 放到 自动驾驶 的 仿真 系统 当中 去 的, 是吗?
对的, 起码 在 当时 的 几个 公司, 我们 看到 很 有意思 的 现象 是 这 几家 做 自动驾驶 的 公司, 他们的 做 仿真 的 团队 的 技术负责人 基本上都 是 游戏 公司 出来 的。 这 还 挺 有意思 一个 现象。
你说的 几家 就是 google, google 的 韦 某、 苹果, 还有 其实。
tesla 仿真 的 技术负责人 也是 游戏 背景 的, 还有 很多 初创 公司。 当然 我记得。
vivo 它的 那个 仿真 系统 还是 命名 是 car craft, 是 跟 魔兽世界 有 一些 是什么 借鉴。
对, 是 有点 类似 感觉。 不过 我记得 韦 某 开始 的 仿真 的 负责人 好像 到 不是 游戏 技术, 好像 是 做 后台 开发 的。 因为 我们 做 游戏 开发 的 很多 同学 互相 认识, 所以 会 发现 其实 有 很多人都 在 做 这种 面向 自动驾驶 的 模拟 仿真 系统 的 工作。
但是 我 听 上一次 你 给我 介绍说, 仿真 系统 这个 行业 或者 这个 产业, 它 其实 已经 存在 了 很 长时间。 只是 最 开始 的 时候 可能 跟 游戏 没有 那么 大 相关。
因为 仿真 这个 工作 其实 最 开始 是 面向 工业界, 然后 面向 航空航天。 最早 的话 从 上世纪 二三十 年代 开始, 就 开始 是 做 这种 纯 物理 的 仿真。 举 个 例子, 我们 去 模拟 一个 飞机驾驶员 的 模拟 仓。 咱们 现在 可能 会有 比较 看着 很 真的 是一个 诺基亚, 它 在 里边 有 很多 电子 设施。 最 早期 的 它 可能 就是 一个 纯 物理 搭建 的, 放在 一个 架子 上, 让你在 里面 去做 一些 近似 的 操作。 但 哪怕 是 这样的话, 也能 很 好的 帮助 飞行员 进行 这样的 一个 训练。
就 搭 一个 这 样子 的 棚子, 然后 你 在 里边 感觉 你 在 开飞机 吗?
对 里面 的 一些 飞机 的 一些 操作 的 交互 的 这些 设备 应该 是 比较 类似的, 应该 也是 有 类似的 这种 翻转 扭动 的 一些 工具。 这是 最 早期 的 仿真, 纯 物理 的 仿真。 后来 也 跟 咱们 看电视 一样, 有 这种 模拟信号 模拟 仿真, 然后 到 后面 有 数字信号 之后, 就 进入 到 这个 数字 仿真。
到 现在 的话, 随着 我们 这种 虚拟现实 技术 的 进步, 慢慢的 像 这种 纯 虚拟 仿真, 能够 跟 虚拟现实 技术, 增强现实 的 技术 vrar 结合起来 的 这种 强 交互 的 仿真 也 越来越多。 那 也就是 大概 从 上世纪 八 九十年代 开始, 我们 看到 这个 仿真 行业 开始 跟 游戏 行业 有 比较 多 的 交集 了。 因为 在 比较 早期 的 时候 的 仿真, 它 更 偏向 后台 计算 和 数值 仿真。 可能 我 关心 的 只是 一个 结果, 我不 关心 它 跟 人的 交互, 然后 也不 关心 它的 一个 可 刷 的 表达。 随着 游戏 技术 这种 图形化 的 一个 增强, 也 开始 有人 去 将 这种 比较 好的 图形 表达 用 在 仿真 里边。 不管 是 能 更好 的 给 人一个 直观 的 结果, 或者说 是 增强 仿真 的 一个 体验。 这是 我们 看到 的 为什么 仿真 行业 可能 跟 游戏 产生 交集 的 一个 原因。
在 说 这个 的 时候, 我 突然 想到 那个 科幻小说 under game 安德的游戏。 这就是 一个 极致 的 把 游戏 最后 仿真, 然后 运用 到 现实 当中。
是的, 例子 包括 最后 主角 都 分不清。
那是 现实 还是 真实的。 是的, 所以 就 相当于 是 上世纪 的 八 九十年代 就 已经 开始游戏 跟 他 有 交集 了。 大规模 的 开始 用 起来, 就 比方说 像 无人驾驶 汽车, 应该 是 韦 某 最先 用 起来 是吗?
如果说 问 谁 最 开始 用 仿真 来 帮助 自动驾驶 研发 的话, 规模 肯定 是 比较 早 的。 毕竟 他们 基本上 是 最早 去 进行 自动驾驶 研发 本身 的 公司。 但是 大规模 的 运用 游戏 技术 的话, 这个 可能 我们 还没有 特别 详细 的 一个 数据。 但是 我们 猜测 应该 是 和 游戏 引擎 的 发展 是 关系 比较 大 的。 游戏 引擎 的 发展 基本上 是在 2011年 之后。 尤其是 这种 渲染 能力 很强, 表现 能力 很强 的 这种 三维 的 游戏 引擎 的 发展。 来 帮助 工业界 意识到, 我可以 去 用 这种 已经 存在 的 三维 的 一个 引擎, 借助 这些 已经 具有 的 能力, 来 帮助 我 更好 去做 一个三维 场景 内 的 自动驾驶 仿真。 这个 应该 是 1几年 才 开始 的 事情。
也 是因为 像 那个 G P U 这 样子 的 芯片 的 性能 越来越 就 超出 以前 的 范围 了。
是的, 硬件 的 进步 也是 一个 很大 原因。 C P U 的 进步, G P U 的 进步 能 让 我们 去 进行 更多 运算, 以及 去 渲染 或者 计算 更多 的 一个 可视化 的 界面, 这 都是 基础。 没有 这些 的话, 也 可能 也 比较 难 去做 这种 高 渲染 的 一个 仿真 的 一个 结果 出来。
所以 2015年 你 加入 苹果 的 时候, 整个 就 无人驾驶 领域 的 仿真 系统, 它 当时 是 什么样 的 一个 状态?
就 我 观察 到 的 现象, 有的 公司 开始 去 用 游戏 引擎 来 构建 帮助 构建 自己的 自动驾驶 仿真 系统。 当时 也有 不少 公司 还是会 选用 纯 后台 这种 纯 计算 的 一种 方式 来进行 自动驾驶 的 仿真。
你说的 就是 像 以前 的 那个 工业界 的 那种感觉 吗?
对, 思路 比较 类似。 然后 只不过 在 实现 方式 上 可能 是 主要是 用 这种 云计算 的 方式, 我 只 考虑 后台 的 一个 并发 性, 一个 纯 计算, 我 不应该 关注 一个 具体 的 表达。 那 我 前端 的话 给 用户 展示 的 可能 就是 很 简洁 的 这种 纯 网页 的 一个 渲染 的 结果。 关注 的 就是我 后台 有 个 计算 的 结论, 然后 能够 一个 简洁 的 方式 给 到 你。 可能 有的 公司 会 认为 我应该 把 时间 放在 纯 后台 计算 本身。 尤其是 在游戏 引擎 这种 工具 兴起 之前。 如果你 想 自己 去 完成 这样 一个 3D场景 的 非常 高 逼真 的 构建 渲染, 还有 基于 这种 三维 场景 去做 一些 计算 的话, 你 需要 自己 投入 很多 人力 和 物力。
所以 仿真 系统 可能 现在 对于 无人驾驶 汽车, 它的 价值 和 意义 是不是 也 跟 其 之前 传统 的 会 有点 不太 一样。
我 觉得 确实 是 意义 比 原来 变得 重 很多 因为 汽车行业 以前 的 传统 的 仿真 也是 必须 的, 不是说 那些 制造 和 碰撞 仿真 的 那个 简直 是 必须 的。 我们 只是 说 偏向 驾驶 行为 的 这种 仿真。 但是 随着 这个 自动驾驶 的 技术 的 演进, 我们 无法 去 投入 这么 大 的 人力物力, 天天 靠 大量 的 路 测 去 进行 一个 仿真。
因为 我们 行业 里 经常 会 用 这个 兰德 智库 在 16年 举 的 一个 数字 说, 一辆 自动驾驶 汽车, 需要 经过 110亿 英里 这样 一个 路程 里程 的 验证, 才能 证明 它 可以 达到 至少 达到 人类 驾驶 的 水平。 110亿 英里 大概 和 170亿公里。 那 这样的 一个 里程 才 可以 证明 这个 自动驾驶 汽车 可以 达到 人类 驾驶员 的 水平, 从而 去 进行 大规模 量产。 那 这个 距离 如果 真的 靠 实际 道路 测试 的话, 其实 还是 比较 难以完成 的。 这个 换算 过来 应该 是, 比如说 你 有 个 500辆的 车队, 24小时 乘 七天 这样 开, 他 可能 要 开 几百年 这样的 一个 换算。 而且 对于 自动驾驶 来说, 每次 你的 算法 发生 了 迭代 或者 改变, 你 需要 重新 测试。
从头开始 就 前面 测试 都 不算 了。
对, 因为 你的 被 测 对象 已经 改, 就像 考试 换 了 个人, 你 得 从头 去做 这道题 一样。 那那 这样的话 也就 相当于 每次 你的 算法 发生 改变 之前, 我们 说 了 这么 长 里程 都要 去 重新 测试。 那 这样的话 完全 靠 实际 的 道路 测试 肯定 是 不 现实 的这 也是 为什么 现在 的 科技 公司, 自动驾驶 公司 或者说 汽车 制造商 会 将 一部分 的 精力 用来 构建 虚拟 仿真 系统, 从而 减少 对路 注册 的 一个 依赖 的 很 重要 的 一个 原因。
所以 这就是 为什么 当时 我 看到 魏 某 说 他们 不 但是 开发 了 cut craft, 然后 还 开发 了 x view 是吗? 然后 使得 工程师 也能 看到 整个 仿真 的 过程 是 怎么 展现 出来。
后来 他们 其实 还 做了 一些 新的 工作, car craft 和 X 6其实 对于 游戏 技术 用 的 可能 还 比较 少, 后来 他们 也 开始 用 游戏 引擎 来做 这种 高 真实度 的 自动驾驶 的 仿真。 也 包括 可能 行业 里 大家 会 比较 熟悉 的 cruze 是 通用 旗下 的 自动驾驶 公司。
在 旧金山 到处 都 是的。
他们 也是 比较 早 的 开始 使用 游戏 引擎。
什么时候。
我们 看到 的 公开 消息 是 起码 是我 第一次 看到 的 时候, 应该 是在 17年 去 大规模 1718年 就 开始 大规模 的 用 游戏 引擎 来做 仿真 测试。 当然 他们 内部 的 实际 时间 可能 会 更 早 一些。
对我 好像 有 看到 过 他们 关于 这个 的 报道, 他们 仿真 的 整个 街景 的 感觉 跟 旧金山 也很 像。
对, 那个 是 他们 经常 举 的 一个 例子, 他们是 做了 一片 旧金山 的 街区。
在 他们的 仿真 系统 里面。
是的。 然后 将 这个 仿真 系统 里 的 仿真 的 结果 和 他们 真实 路 测 一段 视频 做了 一个 很 直观 的 对比。 这是 他们 经常 介绍 的 一个 他们 在 防盗 系统 里 做到 的 一个 工作。
然后 对比 了 之后 会 怎样?
为了 证明 他们的 仿真 系统 构建 的 能力, 包括 一些 场景 的 真实度, 非常 贴近 真实的 世界。
可以 真实 还原 这个 球。 可能 也是 大家 会 好奇 的, 就是你 怎么能够 保证 你 里边 的 这个 仿真 的 东西 真的 是 反应 现实 物理 世界。
就 我们 实践经验 来说 的话, 你 想 仿真 的 结果 比较 真实 的话, 第一个 是你 要 将 三维 的 环境 还原 的。 可能 真实 就是 这个 我们 叫 几何 的 还原。 也就是 你 在路上 看到 一个 红绿灯, 那 它的 形状, 它的 颜色, 你 要 尽可能 在 你的 三维 的 仿真 环境 里 还原 出来。 你 不能说 这个 红绿灯 在 现实 世界 里 每个 灯 是 圆的, 在 你的 房间 场景 里 每个 灯 变成 三角形 的。 这个 对 算法 结果 可能 就 不太 一样 了。 这是 我们 讲 的 是 几何 的 还原, 也 包括 你 路 两旁 的 这些 建筑, 路面 的 颜色 形状, 这些 都是 我们 想 在 几何 还原 这 一步 里 去做 的那 第二步 的话 是 我们 想做 的, 就 这种 我们 叫 逻辑 还原。
逻辑 还原 其实 就是指 我们 想 将 真实世界 里 所有 交通 参与者, 或者说 是 跟 这个 自动驾驶 车辆 可能 有 交集 的 元素, 交通 元素 他的 行为 还原 出来。 这样的话 可以 帮助 我们在 虚拟 的 世界 里 来 测试 和 这些 别的 交通 参与者 的 交互 行为。 比如说 其他 的 车, 其他 的 行人, 或者说 自行车, 或者 是 外卖 小哥 这种 比较 我们会 关心 的 这些 交通 参与者 跟 他们的 交互, 会影响到 我们 自动驾驶 算法 的 一个 安全性。 只有 当你 在 你的 仿真 环境, 就是 你的 虚拟世界 里, 可以 非常 真实 精确 的 还原 出 现实 世界 这些 交通 元素 的 运动 的 特征 和 方式 的 时候, 你 在 虚拟世界 里 测试 的 结果 才有 意义。
否则 的话, 比如说 同事 这样的 一个 汽车驾驶员, 你 在 虚拟世界 里 构建 的 这种 是 非常 疯狂的 crazy driver, 疯狂 司机 的 一个 行驶 模式, 可能 并 不能 帮助 你 很 好在 正常 道路 上去 驾驶。 虽然 我们会 去做 这种 极端 场景 的 测试, 但是 我们 还是 要 让 他 尽可能 的 贴近 真实世界 的 一个 运行 模式。 这是 我们 讲 的 第二个 逻辑 还原。
第三个 的话 是 我们 想 尽可能 还原 这个世界 的 物理 特性。 物理 特性 一般 是 指 摩擦力, 风力 这种 会对 自动驾驶 的 计算 产生 影响 的 一些 参数 或者 特性。 摩擦力 肯定 毋庸置疑。 风力 的话 主要是 一些 侧风, 会对 自动驾驶 运行 会有 一定 的 影响。 如果 风速 还 低 的话 可能 比较 好。 但是 如果 在 桥 上 的话, 有 比较高 的 侧风 风速 的话, 其实 还是 会有 一定 的 驾驶 的 影 影响 的对。
还有 如果 下大雨 的 时候, 你 正好 在 那个 高速公路 上 旁边 有 个 大水坑, 然后 你 就 感觉 好像 有点 打滑。
是的, 对, 这是 摩擦力 比较 直观 的 一个 体现。 这也是 我们 需要 在 仿真 环境 里 去 还原 的 目的, 也是 为了你 在 这种 虚拟环境 里 检验 和 测试 得到 的 结果, 能够 很 好的 反映 在 真实世界 里。 第四个 的话 是要 能够 做到 高 并发。 高 并发 在 刚才 其实 我们 也 谈到 过, 就是 自动驾驶 的 验证。 它的 特点 是 它 需要 检测 的 场景 数量 会 非常 的 高。 这样的话 如果我们 还是 像 传统 的 仿真 验证, 在 本地 一个 场景 一个 场景 去 跑 的话, 那 会 很慢。
我们 举 个 直观 例子, 就 还是 我们 做 小学生 做 数学题 的 这个 例子。 传统 做题 方式 是 我们 一道 题 一道 题 做。 如果 是 这个 卷子 只有 100道题 的话, 可能 还是 一个 可以 接受 的 时间 去做 完。 但是 当 这 张 卷子 里 如果 有 一万 道 题 或者 10万道 题 的话, 我们 还 一个 一个 做 的话, 可能 这 礼拜 也 回 不了 家 了。 那 解决 方式 的话 就是 可能 找 很多 兄弟姐妹 一起 帮你 一起 做, 每人 分 100刀。 这样的话 你 还是 可以在 100道题 对应 的 时间 内 去 完成 这个 检测 测试 任务 的那 我们在 仿真 里 也是 做 一个 类似的 工作, 我们会 用 云计算 的 方式, 就是 把 任务 平均 的 分 到 很多 个 计算 节点 上面 去。 那 每个 节点 承担 的 这项 任务 就会 小 很多。 通过 这种 方式 的话 来 帮助 我们 加速 我们 对于 自动驾驶 的 一个 非常 巨大 的 一个 测试 任务 的 一个 达到 测试 结果, 一个 测试 的 时间吧。 所以 这 以上 四点 是 我们 主要 去 聚焦 的 四个 方式, 来 帮助 我们很好 的 在 仿真 测试 内部 进行 测试。 而且 这个 结果 是 可以 帮助 到 真实的 一个 路 测 的。
但 这个 是 可以 验证 的对 吗? 就 除了 像 一对一 的 比对 之外。
对 是 有 一些 可以 量化 的 指标 的。 举 几个 仿真 内部 的 一些 例子。 举 个 例子, 我们 可能 会 去 仿真 这个 车辆 模型 本身, 我们 叫 车辆 动力学, 就是 这个 车 的 一些 特性, 轮胎、 发动机, 简单 的 说 就是 这个 车 的 它的 一些 运动 的 特点, 跟 我们 开 一个 车 它的 横向 纵向 偏转 角度 摩擦 比较 相关 的 一些 运动 特点。 那 这个 参数 的话 会 非常 影响到 你 这个 车辆 最后 运行 的 一个 状态。 那 这种 仿真 的 结果 就可以 通过 你 完全 一样的 一个 测试 场景, 在 真实世界 里 它的 轨迹 采集 的 这些 数据 和 你 在 虚拟世界 里 做 一个 平行 的 一个 轨迹, 来做 一个 数据 上 的 对比。 从而 判断 你 在 虚拟世界 里 模拟 的 这个 场景 和 真实世界 有 多 接近。 这是 我们 常 举 的 一个 例子。 第二个 例子 的话 是 传感器 的 仿真。 传感器 就是指 这些 自动驾驶 车辆 上, 能够 让 这个 自动驾驶 算法 观察 到 真实世界 的 这些 设备。
什么 摄像机 或者 是 激光雷达 这些 东西。
对, 是的, 咱们 最 常见 的那 摄像头。 但是 自动驾驶 车辆 还会 用 激光雷达、 毫米波 雷达、 超声波 雷达 这些 辅助 的 传感器 来 帮助 他 了解 周围 的 世界。 这些 传感器 的话, 我们在 防尘 系统 内部 也都 是要 去 建模, 并 去 模拟 它的 一个 运行 过程 的。 它的 结果。 我们 也是 可以 通过 完全 一个 一模一样 的 场景, 将 它 传感器 模拟 出来 的 结果, 这 所有 数据 和 它 在 真实的 这个 场景 下 运行 得到 数据, 记录下来 数据 做 一个 比较 直观 的 一个 计算 对比。 从而 得到 安徽 大概 有 百分之 多少 九十 几、 80% 几 的 一个 相似。 从而 判断 我的 这个 结果 跟 真实的 世界 到底 有 多么 的 接近。
可以 举例, 哪些 游戏 技术 是 被 点点滴滴 运用 进去 的。
其实 刚才 我们 提到 2点, 不管 是 我们 从 车辆 动力学 开始, 这个 其实 跟 游戏 里 的 物理引擎 很 像 讲。 因为 咱们 在 玩游戏 的 时候, 其实 赛车 游戏 那个 车辆 本身 也是 有一个 物理引擎 的, 来 帮助 你 去 计算 我 这个 车子。 随着 你 输入 不同 的 油门 刹车 信号、 方向盘 信号, 这个 车 到底 要 怎么样 的 去 响应。 那 这个 过程 的话, 游戏 开发者 肯定 不想说 我的 这个 响应 的 行为 非常 假, 让人 觉得 这 根本 不是 一个 真正 汽车 的 样子。 所以 他 会 开发 一套 物理引擎, 用来 模拟 一辆 汽车 尽可能 贴近 在 真实世界 里 的 反应。
从而 让 这个 游戏 的 玩家, 咱们 玩起来 的 时候 觉得 这个 还 挺 像 个 真 车 的。 而且 最好 能够 体现出 不同 车 的 特点。 比如说 电车 或者说 一些 超跑, 它的 加速 可能 会 比较 快, 然后 会有 一些 急 加速 的 时候 会 有点 翘头 这种 感觉。 这些 细节 的话 都是 由 物理引擎 来去 提供 的那 在 这个 自动驾驶 仿真 里, 也是 有 类似的 这样的 一个 引擎 来 帮助 计算 我们的 物理 的 一个 特性, 也是 汽车 的。
所以 是 直接 可以 拿来 用 的 吗?
其实 准确 的 说 不能 直接 拿来 用, 因为 关注点 还 有点 不一样。 但是 有点 类似。 因为 在 工业界 的话, 对于 汽车 的 仿真, 它 可能 精度 会 要求 更高 一些。 因为 咱们 在 玩游戏 的 时候, 可能 会说 我 只要 让人 感觉 不 出来 就可以 了。 在 这个 工业界 的话, 可能 会有 一些 非常 精细 的 数值。 人 虽然 感觉 不 出来, 但是 对 算法 或者说 是对 一些 非常 细 的 指标 会有 一些 影响, 这个 我们 还是会 在意 的那 我们 也是 希望 游戏 技术 发展 之后, 游戏 引擎 里 的 物理引擎 部分, 我们 可以 直接 拿来 用, 这个 对 我们 来说 就 更好 一些。
第二个 的话, 我们 刚才 讲 到了 传感器 的 仿真。 其实 传感器 的 仿真, 刚才 我们 提到 了 摄像头, 也 提到 激光雷达。 这些 工作 我们 都是 在游戏 引擎 里 去 实现 的。 因为 我们 发现 游戏 引擎 已经 提供了 非常 好的 一个 基础 的 工作。 不管 是 这种 摄像头 的 模拟, 还是 说 我们 通过 这种 实时 的 光线 追踪 来 实现 的 激光雷达 的 一个 过程, 都是 能够 帮助 我们 非常 快速 的 建立 这样的 一个 传感器 的 模型。 所以 这部分 的话, 我们 就是 将 游戏 已 引擎 里 已有 技术 直接 用 起来 了。
还有 一些 是 可能 偏向 更 后台 一些 的, 我们 平时 观察 不到 的。 举 个 例子, 我们 在游戏 里, 咱们 经常 玩 的 一种 游戏 类型 叫 M M O 这种 M M O R P G 或者 叫 M M O 就是 大型 多人 在线 游戏。 对 他的 游戏 的 特点 就是说 我会 在 场景 内部 有 非常 多 的 玩家 一起玩。 我们之间 是 互相 有 交互 的, 然后 也会 有 互相 影响。 这种 类型 的 游戏 里 其实 有一个 非常重要 的 工作, 就是 它的 同步 的 一个 系统。 他的 目的 或者 他的 使命 就是说 同样 一个 行为。
比如说 玩家 A 向 玩家 B 发射 了 一个 魔法球, 然后 打 到了 玩家 币 的 身上。 我们是 希望 在游戏 内部 所有 玩家 看来 这个 动作 是 一致 的。 就是 在 玩家 A 看来, 我 这个 魔法球 打 到 你的 身上 了。 不能说 在 玩家 B 这儿 看来, 我的 魔法球 还没有 打 到 我 身上, 我 还 可以 躲 一下, 这样 就会 导致 这个 游戏 的 结果 就 不一致 了。 我们在 仿真 里 其实 也是 有 很 类似的 一个 工作 的。 我们 需要 保证 在 我们 整个 仿真 系统 内部 非常 大 的 一个 场景 内部 里边 所有的 自动驾驶 车辆, 还有 这种 交通 参与者、 行人, 交通流 车辆, 他们 看到 的 所有 世界 也是 完全一致 的。
这里 和 游戏 的 这种 M M O 的 后台 同步 很 类似, 不过 也是 有 一定 的 区别。 就是 咱们 在 做 这种 大型 多人 在线 游戏 的 后台 同步 的 时候, 我们是 允许 做 一些 预测, 或者说 我们 叫 运动 补偿。 也就是说 可能 因为 网络 的 抖动 或者 丢 帧, 有 一帧 的 数据 没有 收到。 那 这个 真人 的 数据 的话, 我可以 通过 前 几针 或者说 前 几秒 的 数据 我 预测 出来, 然后 我自己 计算 一个 补齐。 但是 在 做 我们 自动驾驶 仿真 的 时候, 因为 我们 对于 结果 还是 比较 追求 严谨性 的, 不 允许 你 去做 这样的 一个 预测 的 计算。 所以 必须 要 保证 到 我 场景 内部, 整个 世界 内部 所有的 计算 在 每 一帧 是 完全 同步, 不 允许 做 预测 的。 所以 对于 整个 系统 内部 的 一致性 可能 会 比 游戏 的 后台 要 再 更高 一些。 这个 是 我们 用了 游戏 技术, 但是 会 做 一些 更 偏向 场景 类 的 一些 改动 的 一个 原因。
所以 我可以 这么 理解 吗? 因为我 看 现在 这种 仿真 系统 的 一些 新的 玩家, 很多 都是 有有 游戏 的 经验。 像 微软, 像 那个 NVIDIA, 就可以 这么 理解 吗?
对 游戏 经验 或者说 也 有些 公司 可能 是 以前 做 虚拟现实 增强现实 转过 来 的。 因为 跟 游戏 的 受益, 游戏 行业 的 发展, 不管 是 对于 游戏 引擎 也好, 或者说 是因为 得益于 G P U 或者 C P U 算 力 影响, 很多 这样的 公司 也 发现 是 可以 切入 到 这样 自动驾驶 仿真 这样 一个 新的 机会 里面 来 的。 赛道 里 的 玩家 也是 越来越多, 确实 越来越多。
所以 现在 就是 这么 多 的 玩家, 他们 彼此之间 在 往前 跑, 在 抢 的 那个 点 是 在哪儿 呢?
就是 行业 里 的 玩家, 我 发现 想法 差别 还 挺 大 的。 他 有的 公司 是 比如说 像 类似 于 传统 的 纸 汽车行业 一级 供应商 或 二级 供应商 的 角色 的话。 他 去 构建 这样的 一个 自动驾驶 的 完善 的 防晒 系统。 他 本身 可能 并不是 为了 去 售卖 自动驾驶 防晒 系统, 他是 为了 他 自己 能够 提供 全套 的 算法 芯片 或者 是 硬件, 或者 是 这种 处理器 给 到 车厂。 他 自己 来做 自动驾驶 仿真 系统, 很大 的 一部分 原因 是 为了 要 展示 和 证明 我 提供 的 这些 算法, 还有 这些 处理器 是 能够 用于 自动驾驶 的。 就 我要 能 自圆其说, 所以 我 通过 我的 仿真 的 这些 工具 能够 帮助 你, 或者说 是 他 自己 已经 给出 了 一些 验证 的 结果。
所以 他是 自己 给 自己 做 测试, 然后 证明 自己 还是 挺 厉害 的。
而且 这个 工具 也能 给 到 最终 的 汽车 制造商, 说 你 后面 也可以 继续 去 用 这个 来去 改进 和 迭代 你的 算法。 所以 这个 可能 是 一级 供应商, 他的 因为 产品 矩阵 会 比较 全, 所以 他 可能 不是 为了 自动驾驶 仿真 系统 本身。 那 行业 里 也会 有些 公司, 它 就是 专门 为了 这个 产品 本身, 我就是 做 这个 纯软件 的 这种 工业 仿真, 自动驾驶 仿真。 那 我的 目的 就是 去 提供 这个 软件 以及 自动驾驶 仿真 相关 的 服务 给 到 车厂, 那 我 就 靠 这块 儿 来 营收。 然后 也会 有些 公司 是 说, 我 可能 通过 这种 自动驾驶 仿真 的 业务 来 带动 我的 云。 所以 我们 看到 的 是在 行业 内 确实 是 不同 的 玩家, 他的 想法 或者 出发点 可能 还是 有些 区别。
其实 也 跟 各自 的 基因 有关系, 对 吧? 我 现在 能够 想象 像 微软、 NVIDIA 他们 肯定 就是 提供 服务。 然后 像 如果 是 amazon e 有 吗? 它 还有 那个 自动驾驶 的 配送 大卡车, 它 可能 是 一整套 的对。
我们 能 比较 清晰 的 看到 微软 很 有意思 一点 就是 他的 这些 仿真 和 这个 数字 孪生 的 业务 都是 放在 他 那个 云 那边 去 的, 就 还是 比较 清晰 的。 他们 思路 应该 是 跟 他们 云 业务 比较 紧密 的 结合 在一起。 像 阿玛 顿 的话, 我们 看到 的 是, 首先 他 收购 了 一家 自动驾驶 的 公司, 叫 zooks。 然后 同时 的话 他 也 投资 了 一家 造 车 的 公司, 电动车 公司, 也是 前段时间 刚 上市 的 riving, 号称 特斯拉 的 最大 竞争对手。 当然 他 自己 也有 业务 场景, 要 做 这样的 一个 货运 的 业务, 所以 这种 巨头 的话, 他 去 切入 一个 行业, 他 可能 考虑 点 确实 是 比较 多。
对他 什么 都 想要。 那 腾讯 起码。
在 我们 这边 定位 还是 挺 清晰 的。 因为 我们 对外 经常 会说 腾讯 在 做 不仅 是 自动驾驶 仿真, 整个 腾讯 自动驾驶 相关 业务 的 本质 就是 首先 腾讯 不造 车, 这 还是 很 明确 的那 腾讯 的 目的 或者 是 定位 是 来做 这个 汽车行业 的 数字化 助手 和 工具箱。 也是 我 帮助 你 这些 车 企 或者 是 自动驾驶 公司 来 更好 的 打造 你的 自动驾驶 汽车。 刚才 我们 之前 一直 讨论 的 仿真 也是 其中 的 一个 工具。
当然 腾讯 还会 提供 更多 的 包括 腾讯 云, 包括 一些 腾讯 的 数据服务, 包括 腾讯 本身 也是 个 图 商, 腾讯 也会 提供 一些 高精度 地图 的 服务。 那 这些 都是 腾讯 可以 为 汽车行业 提供 的 服务, 还有 软件。 那 目的 就是 帮助 这些 用户 和 客户, 能 更好 的 更快 的 去 构建 你的 自动驾驶 汽车, 或者 我们 叫 智能网 联 汽车, 可能 更 合理 一些, 这是 腾讯 自己的 定位。
这个 赛道 上面 就是 这么 多 竞争对手, 大家 都在 拔足 狂奔 的 感觉。 所以 竞争 的 究竟 是 说 他们的 算法 算 力, 还是 其中 的 什么东西, 还是 说 以前 有的 一些 经验 之类 的。
核心 的 竞争 点 或者说 是 技术壁垒 的话。 其实 目前 我们 看到 很难 有 一项 指标 拉 出来 说, 我 就 靠 这一点 就可以 击败 其他 竞争对手。 挺 经常 看到 的 一个 局面, 是一个 综合 实力。 因为 哪怕 是一个 算法, 它 还有 很多 指标, 你 也 不可能 在 所有 指标 上 全面 碾压 竞争对手, 起码 在 目前 我们 没有 看到 有 这么 强 的 一个 公司 出来。
微梦 也 不行了。
感觉 大家 可能 都 已经 到了 那个 瓶颈期 了。 微梦 以前 确实 是 一 技 绝尘, 但是 后面 他 卡 到 那条 线 的 时候, 就是 因为 自动驾驶 很 典型 的 特点 是 长尾效应, 越往后 越 难。
就说 很少 见 出现 的 那些 情况, 你是 说 那些 吗?
是的, 可能 就是 最后 你 可能 花了 50% 的 时间 和 精力 解决 了 前 95% 的 问题。 你 后来 还要 花 另外 50% 时间, 只能 解决 最后 5% 的 问题。 这种 特点 的话 就是 肠胃 效应 越 往后面 越 少见 的, 越 极端 的 场景 你 越 难以 去 解决。
自动驾驶 就是 非常 显眼 的, 或者说 非常 显著 的 这样的 一个 特点。 这样的话, 所有 做 自动驾驶 的 公司, 它 进展 的 速度 肯定 都会 慢慢 趋于 平缓。 因为他 后面 的 这个 要 解决 的 极端 场景 确实 是 比较复杂。 那 先行者 他的 这个 迭代 速度 或者说 进步 速度 肯定 会 慢慢 就会 放缓, 给 后面 一些 公司 追赶 的 机会。 所以 我们 看到 的 是, 其实 在 算法 上, 不管 是 自动驾驶 内部 的 感知 决策 规划, 包括 国内 的 公司, 其实 追 的 也 还 已经 是 追 的 挺 接近 的 了。 这是 我们 观察 到 的 一个 现象。 也没有 存在 哪家 公司 的 算法 可以 碾压 我 行业 里 所有 别的 友商 的 这种 情况 发生 了。
对, 就 相当于 是 中美, 因为 感觉 好像 做 这个 的 基本上 集中 在 中国 和 美国 是吗?
欧洲 也有 协商 的对 对。
德国 是 更加 传统 的 厂商。
是 比如说 宝马、 沃尔沃 他们。 当然 沃尔沃 不是 德国 的, 宝马 是在 德国, 宝马 是 自己 去 自 研 这样的 一个 原来 想做 自动驾驶, 后来 可能 是 更 趋向于 辅助 驾驶 这样的 一个 模式。 但是 确实 是 欧洲 跟 中国 和 美国 比 还是 有 一些。
晚 一些 的那 现在 这些 企业 要 建立 壁垒, 就是 他们 还是 想要 建立 哪 方面 的 核心 竞争力 呢? 还是 说 哪个 方面 是 更加 他们 愿意 去 建立 壁垒 的。
在 仿真 这边 的话, 大家 去 建立 的 壁垒, 其实 最 核心 的 问题, 最 开始 你 也 提到 了, 就是 真实性。 这个 可能 是 我们 来 判断 对于 我们 自动驾驶 的 开发 到底 有没有 用 的 一个 最 核心 的 因素。 也就是 我在 虚拟世界 里 可能 跑 了 非常 多 的 距离。 但是 到底 能够 帮 到 我 真实的 世界 的 测试 有 多少, 或者说 我的 一个 换算 比例 是 多少, 可能 没有人 能 提出来。 举 个 例子, 我们 一直 想 构建 这样的 一个 评价系统, 我每 在 虚拟 测试 里 测试 1000公里, 可以 替代 我在 真实世界 测试 1公里。 那 这样的 一个 比例, 我 感觉到 现在 为止 没有人 能够 很 清晰 的 构建 出来 并 说服 大家。
意思 就是说 其实 要 真正 非常 逼真 的 仿真 还是 挺 难 的。 而且 出来 了 之后, 你到底 是不是真的 这么 逼真 的 仿真, 其实 也很 难 评价。 可以 这么 理解 吗?
对, 大家 都在 尽量 的 去 追求, 我 能够 将 仿真 推 到 一个 真实 程度 的 百, 比如说 95%、 98%。 但是 你说 我们 这个 95%、 98% 怎么 来 呢? 他 发 你 会 发现 是 非常复杂 的 一种 描述 或者 计算 方式, 而且 这个 计算 的 逻辑或 这个 体系 也 不是 所有人 都会 认可 的。 可能 每家 都有 自己的 一个 理解。 这样的 一个 方式 就会 造成 行业 内 没有 谁 可以 说服 其他人 说 我的 一个 一定 很 真实, 也可以 真实 到 一个 百分之 什么样 的 一个 程度。 所以 这个 指标 构建, 这个 体系 构建 确实 是 目前 没有人 可以 解决 的 一个 问题。
就 真实性 可能 是一个 瓶颈, 或者说 你们 正在 争夺 的 点。 另外 的 另外一个。
就是 对于 最终用户, 就 比如说 汽车 制造商, 他们 一个 真实 开发 的 效率 提升 到底 有 多少? 因为 我们 构建 了 仿真 系统, 最 开始 的 目的 一个 是 我们 为了 解决 测试 安全性 的 问题。 我们 不想 在 测试 中间 出现 这种 事故。 第二个 的话 就是 为了 减少 这个 测试 的 成本, 就 为了 节省时间、 人力 和 金钱。 能够 为 最终 的 用户 节省 多少钱, 节省 多少 时间? 这也是 我们 可能 是要 P K 并 能够 说服 或者说 是 证明 自己 真的 是 具备 这个 节省时间 的 能力 的 一个 很 重要 一个点。
但 这 要 怎么 证明?
觉得 好 难。 对, 好 问题。 对, 是的, 起码 在 行业 内 没有 一个 很 清晰 的 一个 指标 能够 量化 出来 说 我 能 为你 省 80% 的 钱。 我 另一家 说 我 能 为你 省 90% 的 钱, 这个 还没有 一个 通用 标准。
更多 的 就是 每家 会 通过 自己 已经 做 过 的 一些 案例。 举 个 例子, 我们在 某个 车型 虚拟 测试 了 1000万公里, 我 大概 花了 多少钱? 如果 你是 真实 注册 的话, 大概 需要 花 多少钱? 那 我 这个 成本 肯定 是 非常低 的 一个 比例。 一般 会 只能 通过 这种 方式 来去 进行 一个 成本 缩减 的 说明。 但是 这个 缩减 的 方式 以及 这个 计算 的 过程, 目前 看 也 不是 个 行业 通用 的 标准。
可能 那个 车 企 还 会说 我在路上 跑 的 更加 真实, 这个 数据 对我 而言 更 有用。 是不是 也会 说 这。
样子 的对 这事 已经 发生 了。 因为 说实话 大家 都会 觉得 那 肯定 的, 我 真实 采集 数据 肯定 是 最 真实的。 那 如果我 能 用 真实的, 我 干嘛 要 用 虚拟 的 呢? 所以 这个 其实 也是 我们 做 仿真 的 同学, 很多 行业 里 的 人 要 去 回答 的 一个 问题。
就是 仿真 并 不是说 他 一定要 能够 完全 替代 真实 它 才有 意义。 而是 他 只要 能够 帮助 你 节省 你的 时间, 提升 你的 效率, 它 就 已经 有意义 了。 这个 还是 可能 我们 要 去 提醒 行业 的 一个点。 并 不是说 我们 一定要 将 仿真 做到 跟 真实 百分之百 相近, 它 一定 做 的 特别 完善, 我们 才 开始 去 使用 它。 而 应该 是在 我们 看到 他 已经 在 某些 方向 上 可以 帮助 我很好 的 减少 我的 测试 的 成本 和 时间, 那 我 就可以 先 用 起来 了。
所以 这个 是在 无人驾驶 的 这个 技术 当中 的 应用 是 有 阶段 的。 就 比如 它 更加 适合 用 在 更加 靠 前 的 阶段, 还是 怎么着。
这种 无人驾驶 的 仿真 的话, 目前 来看, 一般 两类 用户 会 去 使用。 一类 是在 开发阶段, 这种 主机厂 他 会 去 用来 做自己 的 一个 研发 的 测试。 就是 每次 我 算法 可能 调整 一点 之后, 我需要 一个 环境 去 测试 一下 我 到底 跑 的 怎么样。 另一类 用户 的话, 基本上 是 这种 测试 机构, 他 要 去做 这种 准入 测试。 也就是 你 有 一家 厂商 说, 我 这 车 已经 可以 没有 准备 卖 了。 你 得 有一个 认证 机构 告诉 来做 个 检测, 来 证明 你 确实 可以 卖。 检测机构 的话 他 也会 用 仿真 系统 来去 测试 你的 车 的 算法 的 一个 稳定性 和 安全性。
车厂 去 用 的 时候 可能 阶段 更 靠 前 一点, 因为 这个 车 还在 研发 中 测试 机构 去 测试 验证 的 时候, 往往 你的 车 已经 造 好了, 所以 它的 阶段 会 靠 后 一些。 所以 访问 这个 工作 其实 是在 整个 阶段 都在 不停 的 去 使用。 从 你 设计 研发 到 你 去 造 这个 车, 然后 做 测试 的 时候 都要 去 使用。
我 理解 这个 行业 应该 是 发展 的 变化 还是 挺快 的。 因为 毕竟 从 20可能 1514年 的 时候, 无人 车 还 很少, 还是 个 prototype 的 阶段, 到 现在已经 有 一些 已经 在路上 跑 了。 那就 仿真 系统 这边 你 会 觉得 就是你 对 他的 认识 或者 认知 发生 了 哪些 比较 大 的 变化。 也就是说 之前 你 可能 没有 意识到 这些 问题, 但 现在 你 意识到 原来是这样 子 的。
可以 分享 一下 自己 之前 的 感受。 因为 最 开始 我是 偏向 做 V R 和 A R 的, 那个 时候 可能 我们 关心 的 是 只要 通过 游戏 技术 将 整个 世界 还原 出来, 然后 游戏化 的 还原 整个 场景, 我们 任务 就 完成 了。 后来 发现 工业界 对 这个 方式 非常 抵触 的。 哪怕 其实 在 前几年 大家 也会 觉得 你 用 游戏 引擎 和 游戏 技术 来 去做 工业 仿真 是不是 不 严谨。 这个 确实 也是 跟 很多 游戏 背景 的 工程师 来 去做 这样的 一个 防盗 系统 也有 关系。
我们 可能 认为 交互性, 人眼 的 真实性 很 重要。 但是 可能 对于 工业 仿真 或 这些 传统 的 行业 来说, 他 不 这么 认为。 他 认为 纯 计算 的 真实性 可能 会 更 重要 些, 交互性 对他 来说 没有 什么 意义。 所以 我们 也是 在 开发 过程 中才 发现, 你 想 去做 这样的 一个 虚拟世界, 你 就要 去 能够 贴合 这个 具体 的 行业 里 它的 一个 特点 和 一个 传统。 不能 按照 我们 自己, 尤其是 科技 公司 或者 互联网公司 这种 模式, 我 快速 上线, 小步 迭代, 带着 bug 也能 跑。 这种 思维 模式 其实 还是 有 比较 大 的 一个 区别 的。
我们 也是 在 这几年 里 慢慢的 去 发现, 如果 真正 的 想要 这些 传统 行业, 比如说 汽车行业 用 起来 的话, 你 要 真的 去 满足 他 各种 行业 内 的 标准, 他 各种 开发 测试 的 流程 体系。 所以 有 很多 要 学, 然后 去 改造 你的 仿真 系统 的。 就 开始 可能 我们 就 想你 构建 出来 一个 虚拟世界, 你可以 用 不就 可以 了 吗? 后来 发现, 像 汽车行业 有 非常 多 的 标准 和 流程, 你 必须 要 一步一步 的 验证, 一个 模块 一个 模块 验证, 先 分开 验证, 再 整体 验证 等等。 这些 流程 你 都要 去 遵守 的, 所以 你 也要 针对性 的 去 开发 你的 房产 系统。
而且 他们 对 安全性 的 要求 特别 高, 是 吧?
对, 这个 是 我们 说实话 在 我们 做 跟 汽车行业 的 客户 做 深入 交流 前, 以前 没有 意识到 的。 就是 汽车行业 对于 安全 非常重视, 他们 觉得 这是 最大 的 事情。
那 回到 仿真 系统 来说, 接下来 三五年 他 可能 需要 去 挑战 或者 去 克服 的 一些 东西, 或者 想要 达到 的 一个 是 什么样 的 状态。
最 核心 的 就是 我们 想 建立 我们 仿真 系统 和 真实世界 换算 的 一个 比例。 就是 刚才 我们 提到 了 我在 我的 仿真 世界 里 测试 了 多少 公里, 测试 了 什么样 的 场景。 我 就可以 很 明确 的 告诉你, 你 在 真实世界 里 可以 少 测试 多少 里程, 哪些 场景 你是 一定 可以 解决 的。 你 在这个世界 里 就可以 不用 再去 反复 测 的 这样的 一个 体系, 以及 为了 达到 这样的 体系, 你 需要 去 完成 的 各种 仿真 系统 真实性 的 功能 开发。 这 可能 是 未来 三五年 内 对 我们 来说 最 重要 的 一个 事情, 就 目前 没有人 能 做到, 确实 是。
还有 就是 我记得你 的 同事 有 说到 那个 仿真 系统 和 数字 孪生, 这个 又是 怎么回事?
因为 狮子 孪生 是 其实 也 火 了 有 两三年, 感觉 其实 狮子 的 孪生 它 并不是 一个 新的 概念。 因为 最早 的话 二十多年 前, 其实 NASA 就 已经 开始 用 它 来做 这样的 一个 航天器 的 一个 运 维和 监测。 可能 是 近几年来 突然 又被 炒 火 的 一个 概念。 那 我们在 数字 孪生 里 的话, 可能 关心 更多 的 是你 如何 将 一个 真实世界 复制到 你的 虚拟世界 里 来。 核心 的 原因 或者 核心 背后 的 逻辑 还是 我们 说 的, 我们 想 将 我们 仿真 系统 里 的 世界 构建 的 更 真实 一些。 从而 能够 让 我在 仿真 世界 里 得到 的 结果 对于 真实世界 是 有 帮助 的那 数字 孪生 技术 的话 本质 就是我 可以 通过 某种 方式 将 真实世界 的 映射 进来。 而且 我 能 保证 我在 虚拟世界 里 推演 或者 计算 一些 结果, 能够 反馈 到 真实世界 里边 来。 所以 这 两 部分 可能 是 比较 接近 的 一个 概念。
数字 孪生 的 感觉 像 google 的 街景地图 一样 采集 数据, 然后 放到 它 地图 当中 去。 有 个 3D地图 吗?
没错, 其实 我们 现在 在 做 的 工作 跟 这个 很 像。 而且 其实 一般 做 街景 的话, 一般 会 是用 摄像头 去 采集。 那 我们 的话 不仅 是用 摄像头, 还会 用 激光雷达 来 采集 更加 准确 的 点 云 就是 它是 激光雷达 返回 的 一个 结果。
很多很多 个 点。
对, 是的, 就 很 直白, 就是 一些 点 构成 了 一个 跟 云朵 一样的 东西。 这是 我们 看到 的 激光雷达 返回 的 数据, 我们会 将 这种 激光雷达 返回 回来的 点 云和 图像 做 融合, 然后 生成 一个 不管 是 形状 还是 颜色 都 非常 贴近 真实世界 的 这样的 一个三维 的 场景。 因为 咱们 以前 用 街景 的话, 其实 街景 也有 类似 于 让 你 身临其境 去 预览 的 那个 模式。 但是 你 能 看到 它 其实 还是 有些 扭曲 的, 它 跟 真实的 还是 不一样的。 我们 也是 为了 解决 这个 问题, 会 用 激光雷达 采集 回来 数据 去 构建 这个 真实 场景。 这个 也是 其实 本质 上 也是 说 生 技术 的 一个 呈现。 就是我 通过 采集 真实世界 的 数据, 通过 我的 融合 算法, 能够 将 这个世界 在 虚拟 的 场景 里 完全 的 还原 出来。
那 虚拟 孪生 就是 放到 了 虚拟 的 世界 当中 去, 是吗?
其实 是 这个 概念 比较 多, 因为 虚拟 孪生 的话 是 其实 是 咱们 国家 科学 提出来 的 一个 概念, 大概是 2020年 中国科协 提出来 的。 就是 可能 是在 数字 孪生 的 基础上 要 更进一步。 数字 孪生 可能 更 聚焦 在 我 从 真实世界 到 虚拟世界 的 一个 映射 和 最多 有一个 反馈。 那 在 虚拟 完整 里 的话, 起码 科学 给出 的 指导 的 一个 意见 是 说 要在 这 里面 做 更多 的 推演 性 或 预测性 的 工作。 就是 对 未来 的 一些 模拟 和 对 未来 的 一些 预测。 将 这些 预测 的 结果 的话 能够 返回 到 真实世界, 做 一些 类似 于 辅助 决策 的 工作。
但 这个 感觉 就 不就是 那个 无人驾驶 就 一直 在 做 的 事儿, 只是 又 给 了 一个 名词。
对 这个 几个 概念 确实 是 有 一些 相近。 其实 行业 里 很多 同学会 问, 仿真 数字 孪生、 虚拟 孪生 到底 关系 是什么? 他 可能 还 没有人 能 给出 一个 非常 清晰 的 一个 界定, 确实 比较 类似的 概念。
我记得 上次 你 还 跟 我 提到 说, 其实 你 在 这么 一段 职业生涯 当中, 会有 一些 认知 上 的 悖论。 我 觉得 那个 还 挺 有意思 的, 要 不要说 一下 就 unknown safety。
对对对, 这个 是。 自动驾驶 行业 里 非常 有意思 的 一点 就是 对于 我们 来说, 我们 想 去 验证 一个 自动驾驶 是否 安全。 我们 已知 的 场景 我们 基本上都 已经 测试 或者说 针对性 的 开发 过了。 一般 情况下 对于 我们 自动驾驶 的 算法 不会 有什么 挑战。 其实 对于 我们 自动驾驶 算法 会有 挑战 的 场景, 往往 是 我们 认知 不到 的, 想不到 的。 这些 场景 在 行业 里 叫 unknown safe。 就 刚 你说的 anon unsafe 就是 我们 不知道 的, 而且 是 不安全 的 场景。 但 很 有意思 一点 就是你 明明 不知道 它, 对 吧? 所以 你 该 如何 去 描述 它 并 拿来 做 测试 呢?
为了 解决 这个 问题, 我们 也是 其实 跟 做 游戏 很 像。 就是 有点像 我们 做 这个 游戏游戏 叫 sim city, 就是 虚拟 的 一个 城市。 是对 对, 我们 也是 做了 一个 类似的 这样 一个 系统, 我们 叫 virtual city, 就是 一个 模拟 的 城市。
本质 上 它 就是 一个 城市 级别 的 仿真, 里面 会 布满 了 这种 自动驾驶 汽车 和 交通 的 参与者, 其他 的 汽车 和 行人。 我们会 让 它 24小时 乘 七天 不间断 的 运行。 这样的话 它 随机 的 运行 之后, 会给 我们 一些 很 极端 的 场景, 很 随机 的 场景 出来。 通过 这些 自动 生成 的 场景, 我们 来 验证 这个 自动驾驶 的 算法 是否 可以 很 好的 解决 这些 极端 场景。 通过 这种 方式 来 帮助 我们 生成 刚才 我们 提到 的 i know unsafe 的 场景, 这是 我们 自己的 解决 方式。
因为 像你 刚才 说 的, 这个 确实 是个 悖论。 因为 我们 靠 人是 很难 想 出来, 如果你 人 能够 想 出来 的话, 它 就 不是 个 安静 的 场景 了。 所以 我们 也是 用了 类似 于 这种 游戏 的 技术, 来 帮助 我们 生成 这样 一个 虚拟 的 世界。 通过 这个 A I 本身 来 帮助 我们 生成 这种 未知 的 不安全 的 场景, 来 代替 我们 靠 人脑 去 想。
其实 你 刚刚 在 说 你们 要 用 随机 的 这种 不断 的 在 运行 来 找到 on safe 的 场景。 我 就 想到 了 失控 玩家 的 电影, 我 就 觉得 你们是 要 找出 那个 失控 玩家 来。
有一点 类似, 其实 你 刚刚 提到 这个 时空 玩家 的 电影, 提到 的 这些 N P C 的 行为。 因为 时空 玩家 的 电影 讲 的 就是 它 构建 了 一个 非常 真实的 这样 一个 世界。 然后 里边 所有人 的 行为 也 非常 贴近 一个 人类 的 行为。 而且 他 感觉 不到 这个 其实 在游戏 行业 一直 在 做 相关 的 工作。 其实 从 最 开始, 不管 是从 阿尔法 a go 开始 去做 这种 围棋 的对 博意, 到 后面 你 会 发现 游戏 行业 开始 给 那些 游戏 的 A I 去做 这样的 模型 训练。 在 很多 游戏 里 人类 的 选手 已经 打 不过 这个 A I 的 选手 了。 比如 星际, 或者 是 星际争霸, 或者说 是 dota 这类 的 游戏, 这样的 A I 还是 很强 的那 这样的 工作 的话, 其实 是在 自动驾驶 仿真 里 对 我们 来说 是 非常 有意义 的。 因为 我们 一直 在 做 的 工作, 包括 原来 我们 用了 一些 游戏 技术, 但是 后来 需要 自己 去做 很多 工作 的, 就 包括 这些 N P C, 就是 这些 非 游戏玩家 的 人物 的 行为, 他 如何 去 比较 好的 进行 拟人化, 这是 我们 很 关心 的 一个点。
就 比方说 你 设计 了 一个 过马路 的 场景, 一个 妈妈 推 这个 车, 它 到底 怎么 更 真实的 是 推 这个 婴儿车 的 感觉, 是吗?
是的, 其实 我们 经常 会 用 一个 例子, 就是我 对于 我们 来说 很 有 挑战 的 一个 场景。 可能 是 我们 常见 的 外卖 小哥, 他 会 骑着 这个 小 电车, 有的 时候 不太 尊重 交通规则 的 从 你 面前 穿越, 对 吧? 我们是 希望 可以 如实 的 反映 这种 情况 的那 就 要求 你的 这个 场景 内部 的 这些 N B C 或者 是 A I 能够 非常 真实的 还原 这些 人类 的 行为。 这样的话, 其实 游戏 行业 在 做 很多 这样的 事情, 包括 会 用 很多 网络 去 训练, 然后 让 它的 运行 的 方式 去 贴近 真实的 一个 人类 会 运行 的 方式, 不 也 包括 人类 会 犯 一些 错误。 举 个 例子, 我们 以前 玩 的 一些 赛车 游戏 里 的 A I 它 会 很强, 开 得 很快, 它 不 犯错误。 但是 在 我们 做 自动驾驶 仿真, 或者说 我们 做 这样的 一个 自动驾驶 测试, 验证 我们 所 需要解决 的 问题。
不是说 我们 需要 放 很多 非常 理智 不 犯错误 的 N B C 进来。 我们 需要 的 是 会 像 人 一样 有血有肉, 会 犯错误, 会 违反 交通规则, 会 去做 一些 我们 认为 不合 交通 的 法规。 但是 真的 人类 会 去做 的。 比如说 我看 最后 没 人我 就 横穿马路 了。 对, 就 这种 不合 法律 或 法规, 但是 真的 真实世界 会 发生 的 情况, 这些 是 我们 非常 关注 的。 我们 也是 看到 游戏 行业 在 做 这些 事情, 我们 也是 希望 很 希望 这些 东西 后面 我们是 可以 用 起来。
所以 你们是 经常 跟 你们 游戏 的 同事 有 交流 是吗? 还是 说 你们 就 在一起 工作 了?
我们会 和 腾讯 游戏 是个 事业群 下 的 几个 部门 同事 每周 有 周会, 因为 我们 合作 的 点 还 比较 多, 这种 A I 是 一方面。 还有 一方面 的话 就是 如何 比较 真实的 构建 一个 场景。 因为 对于 游戏 行业 的 同学们 来说, 他们 也 做了 很多 的 工作。 我 目前 其实 也能 看到 咱们 游戏 行业 的 发展 之后, 有 很多 游戏 它是 那种 非常 高 真实性 的 一种 还原 度 的 一个游戏, 而 不是 我们 以前 玩 这种 纯 卡通化 或者 风格化 的 场景。 所以 他们 在 如何, 在游戏 引擎 或者 是一个 虚拟 场景 内部, 能够 非常 真实的 还原 一些 元素。 或者说 我们 说 一些 物体, 比如 山, 树, 水 啊, 建筑, 包括 一些, 人的 模型, 或者 是 小猫 小狗, 他们 其实 都有 很深的 一个 积累 的。 因为 对于 我们 来说, 我们 不仅 要 能够 非常 真实的 把 它的 外貌 还原 出来, 我们 还需要 他的 这个 模型 非常 的 合理 和 效率。
高效率 高 是 指 我们 仿真 系统 去 运行 的 时候 会有 一个 帧率, 就是 运行 的 一个 刷新率。 我们是 需要 这个 模型 优化 会 比较 好, 能够 让 我们 跑 在 一个 非常 高 的 一个 帧率 上。 这样的话 不管 是人 看 还是 我们的 这种 传感 去 看, 它 能 保持 一个 比较高 的 一个 刷新率, 才能 去 真正 的 跑 后面 的 一些 算法。 这些 工作 的话, 其实 都 需要 用到 很多 游戏 行业 已有 的 一些 积累。 这也是 我们 和 游戏 部门 的 同事 紧密配合 的 一个 原因。
听起来 真的 是 还 挺 有意思, 所以 他们是 直接 会 到 你们的 部门 一起来 工作, 还是 说 其实 只是 碰 一下 而已。
远程 开会。
对, 他们 更 多是 在深圳 那边。
对 吗? 对, 深圳 的 同事 最多, 北京 的话 也有 一些, 但是 还是 比较 少。 主要 我们是 和 深圳 的 同事 一起 在 进行 这种 有些 技术 上 的 应用 的 合作。
我 还 挺 期待 说 那个 之后 可以 再 来说 说, 比方 说明 年 后年 又有 哪些 有意思 的 游戏 运用 到 无人驾驶 当中 去, 或者 是 仿真 系统 当中 去, 挺 有意思 的。
听起来 尤其是 对我 这个 钱 游戏人 做了 一半 被迫 转行 同学 来说, 我也是 非常 希望 看到 越来越多 的 游戏 技术 在 这种 前沿 的 领域, 包括 比如说 自动驾驶, 就 技术 也能 用 起来。 而且 确实 能够 给 这些 传统 的 行业, 比如 汽车行业, 能 让 他们 去 认可 我们 做 这些 技术。 然后 能够 帮助 他们 真正 的 能 加速 他们 这种 自动驾驶 汽车 制造, 这是 我们 看来 非常 有意义 的 一件 事情。
什么时候 可能 就是 仿真 系统 整个 基于 游戏 技术 的 这种 可能 汽车行业 它 会 比较 完整 的 接受, 这个 会有 个 时间表 吗?
我们 目前 看到 的 是 行业 内 越来越多 的 友商 开始 用 游戏 技术 来做 仿真 了。 就是 不仅仅是 这些 新的 玩家, 就是 这些 新的 自动驾驶 公司 也好, 或者 是 科技 公司 也好。 包括 传统 的 这些 仿真 软件 也都 开始 支持 游戏 引擎 了。 他 也会 用 游戏 引擎 来做 我们 刚才 提到 传感器 仿真 或者说 场景 的 渲染 可视化。
在 这种 模式 下 的话, 当 汽车行业 的 真正 的 最终用户 发现 行业 内 所有人 都在 用 游戏 技术 来 去做 这样的 一个 自动驾驶 仿真 的 时候。 那 他的 选项 不管 选 哪一个, 肯定 都是 用到 了 这个 游戏 技术 来 增强 的, 自动驾驶 仿真 系统。 所以 我们 看到 现在 其实 已经 有 很多 车厂 开始 去 接受 去 使用 了。 但是 客观 的 说, 你 这种 传统 行业 的 同学 完全 接受 使用 游戏 技术 来进行 比较 传统 的 工业化 的 仿真, 可能 还是 有 一段路 要 走。 很 核心 的 问题 就是 我们 要 解决 咱们 学 之前 提到 很 多次 的, 如何 证明 我 用 使用 了 游戏 技术 构建 了 这种 虚拟 的 场景, 它 到底 有 多么 真实。 只要 我 能 建立 这个 评价 体系, 证明 我 有 多么 真实, 那 最终用户 就会 放心, 这个 确实 是 有意义 的, 能够 帮助 我 进行 真正 的 自动驾驶 汽车 研发 和 测试, 而 不仅仅是 看着 好看 而已。
好的, 今天 非常感谢 你来 给 我们 分享 这些 insights。 我们 今天 的 节目 就 先 到 这里。 大家 想要 听到 孙 驰 天和 他的 同事 更多 技术 和 趋势 方面 的 硬核 分享, 也可以 关注 腾讯 游戏 学堂 举办 的 T G D C 腾讯 游戏 开发者 大会。 在 今年 的 T G D C 上, 除了 有 游戏 从业者 分享 最新 的 行业 趋势 与 研发 经验, 还有 更多 关于 游戏 技术 如何 应用 在 A I 图形 算法 等 其他 前沿 领域 的 精彩 分享。 相关 的 链接 我们 也 放在 了 本期 节目 的 秀 note 中, 大家 可以 各取所需 进行 查阅。 我们 下次 节目 再见。
好的。
这 期 what nex 科技 早知道 就 到 这里 了。 听 完 之后 如果你 有 任何 的 想法, 欢迎 在 评论 区 里面 给 我们 留言, 我们 每 一条 都会 认真 的 看。 如果 你喜欢 我们的 节目, 请 记得 给 我们 五星 或者 好评, 分享 给 更多 的 朋友, 也会 对 我们 非常 有 帮助。 你 也可以 单独 写邮件 给我, 邮箱地址 是 听 T I N G at 声 点 F M, 我 都会 一一 回复。 同时 公众 号 和 微博 也可以 搜索 生动活泼 声 是 声音 的 声, 节目 相关 的 更多 信息 会 在 公众 号 里 出现, 微博 和 公众 号 都 会有 不定期 的 福利 给 到 大家。
如果你 想要 跟 我们 更加 紧密 的 讨论 和 分享, 或者 是 想要 认识 和你一样 有 求知欲 的 新 朋友, 可以 加入 我们的 微信 群。 进入 听众 群 的 方法 是在 公众 号 文章 中 扫 码 添加, 或者 是 公众 号 后台 回复 科技 早知道, 即可 获取 邀请码。 期待 你的 加入, 我们 下期 见。