We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode S2E39|VR将迎来iPhone式大爆发?还有这几个瓶颈

S2E39|VR将迎来iPhone式大爆发?还有这几个瓶颈

2021/6/9
logo of podcast 硅谷101

硅谷101

AI Deep Dive AI Chapters Transcript
People
杨俊睿
泓君
Topics
杨俊睿:VR/AR领域的研究方向选择源于对Oculus Rift出色交互体验的感受,认为其缩短了用户与虚拟世界的距离。VR眩晕问题主要源于眼睛和内耳感官信息的不匹配,现代VR设备通过改进程序设计、提高刷新率、优化视角移动方式等方法来解决静止状态下的眩晕,但移动状态下的眩晕问题仍未得到很好的解决。VR的未来发展方向在于设计更适合VR的交互方式,例如语音输入、眼动追踪等,以及解决触觉反馈等问题,最终实现完全沉浸式体验。目前VR硬件和软件已经足够成熟,核心瓶颈在于交互方式的设计。VR将在五年内取代计算机屏幕,因为VR的输入和输出都比计算机更强,且能实现完全沉浸式体验。 杨俊睿:当前VR的交互方式仍较为传统,例如虚拟键盘,效率低下。未来VR的交互方式将更加多元化,例如语音输入、多模态交互等。多模态交互是指既可以语音输入,也可以手动操作,两者相互影响。眼动追踪也是一种潜在的交互方式,但存在准确性和用户舒适性等问题。 杨俊睿:斯坦福大学在VR/AR领域的研究主要集中在人机交互、光学成像和触觉反馈等方面。在教育领域,研究方向是将知识与现实生活中的物体绑定,通过增强现实技术实现更贴近生活的教育方式。 杨俊睿:今年VR再次爆发的原因在于Oculus Quest等一体机解决了设备便携性和功能完整性问题,为VR应用和游戏开发提供了良好的硬件基础。但VR仍缺乏成熟的开发者套件,限制了高质量VR游戏的开发。 泓君:就VR技术发展现状、未来发展趋势、以及学术界与产业界的互动等方面与杨俊睿进行了深入探讨。

Deep Dive

Chapters
探讨VR设备中的眩晕问题,解释其成因(眼睛和内耳感官信息不匹配),并分析目前已解决和未解决的眩晕类型。
  • VR眩晕源于眼睛和内耳感官信息冲突
  • 已解决:减少画面延迟,优化视角切换,改进程序设计
  • 未解决:移动中的眩晕,需探索新的移动方式或用户适应

Shownotes Transcript

嗨 大家好, 欢迎 收听 硅谷 101, 我是 红军。 这是 一档 分享 当下 最 新鲜 的 技术 知识 与 思想 的 科技 播客。 接下来 我们 每期 的 音频 文字版 也会 发表 在 硅谷 101的公众 账号 上。 大家 在 微信 公众 账号 中 搜索 硅谷 101就可以 关注 我们。

这 期 我们的 主题 还是 V R 方向 的 新进展。 过去 我们的 节目 也 聊过, V R 是从 公司 的 角度 来 聊 的。 而 我相信 前沿技术 如何 发展, 更多 是要 看 学术 领域 和 基础研究 有什么 新的 突破。 这也是 为什么 硅谷 的 大公司 在 人工智能 等 方面 会 下 重金 从 学术 圈 挖 人。 这 期 我们 就请 到了 斯坦福 计算机系 的 博士 杨 珺 睿。 Jacky 杨 hello jacky 你好。

嗨 你好。

你 不然 先 给 大家 简单 的 介绍 一下 你 自己, 还有你 过去 的 经历。

我 叫 杨 金瑞, 然后 我 本科 是在 北 大学 的, 是 C S 研究生 的话 现在 在读 P H D。 然后 在 斯坦福 现在 第五年。 我 主要 做 的 就是 跟 A R B R 相关 的 一些 人机交互 这个 方向 的 项目, 包括 从 输入 技术 一直 到 交互技术, 我 都在 做。

你 当时 就是 在 选 你的 具体 做 哪个 垂直 方向 的 时候, 为什么 会 选 V R 跟 A R 相关 的 方向 呢?

开始 做 A R V R 是我 开始 读 P H D 之后 做 的 这个 选择。 我 在读 P H D, 然后 我没有 想 好 我 具体 做什么 方向。 当时 我 印象 中 就是我 去 H P lap 做 实习。 惠普 的 实验室, 他们 有一个 相对 独立 跟 产品 独立 的 部门 叫 H P left。 当时 的话 他们是 在 做 一些 A R V R 的 项目。 我 试 了 一下 他 实验室 里 有一个 叫 oculus rift, 就是 第一个 consumer version。

我 感觉 非常 好用, 尤其是 我 觉得 它的 controller 特别 好用。 其实我 之前 用过 H T C Y, 有 别人 做 研究, 然后 我 帮 他 做, 然后 我 用过 一下, 我 感觉 非常 一般。 就是我 感觉 我 和 那个 虚拟世界 有一个 很大 的 隔阂, 就 跟 你 用 电脑 一样。

当时 我 觉得 office 非常 神奇 的 一点 是 他的 手 的 controller 特别 好。 他 最 开始 的 时候 给我 显示的 是一个 controller, 但是 他在 你 做了 一个 L 之后, 在 之后 的 显示 里面 他 都 把 直接 把 你的手 用 你的手 来 替代 了。 也就是说 虽然 他 这个 控制器 上 只有 三个 按键, 但是 他用 一种 方法 把 三个 按键 的 信息 映射 到了 你 手 的 完整 的 动作。 虽然 它 不完整, 但是 它 基本上 可以 映射 大部分 你 手 的 动作。 因为 有 这种 完整 的 手 的 替代, 让 你 感觉 你 和 这个 虚拟世界 中的 距离 大大 变 近 了。

刚刚 提到 了 就 你 在 惠普 实习 的 时候, 第一次接触 到 奥克斯 rift, 然后 你 被 他 吸引 了。 我 很 好奇 你 当时 玩 的 是 一款 什么样 的 游戏。

我 当时 其实 就是 用了 OK rift 自带 的 教程。 它 教程 本身 就是 交互 上 做 的 是 非常 好的。 它 教 你 比如说 你 手里 虽然 握 的 是一个 控制器, 但是 怎么 让 你 感觉 你 在 用 自己的 手。 因为他 最 开始 教 你 有 哪个 键, 他 还会 跟 你说 哪个 键 会 绑定 到 哪几个 虚拟 的 时候。 指 在 之后 你 就 看不到 控制器 了, 你 只能 看到 自己的 手指。 在 这个 过程中 你 就 慢慢 感觉到, 虽然 你 在 按键, 但是 你的 脑子里 想到 的 是我 该 动 哪个 虚拟世界 中的 手指, 你 都 不用 想你 就 知道 你 该 按 哪个 键 了。 这个 过程 让 你 感觉 非常 无感。 然后 你 感觉到 你 真的 已经 完全 融入 到了 那个 虚拟世界 中, 而 不是你 在 用 电脑, 你 在 有意识 的 控制 另一个世界, 而 不是你 真的 融入 到了 那个 世界。

所以 当时 你 并没有 去 玩 一款 具体 的 游戏。

具体 游戏 我 当时 花时间 玩 V R 比较 多 的 时候, 我 当时 主要 玩 的 就是 节奏 光剑 b samer 还有 red room。

你是 从什么时候开始 花时间 比较 多 的 来 玩 V R 游戏 的?

17年 夏天 大概 这样, 我 之后 就 越来越多 时间 去做 研究, 可能 也 没 那么 多 时间 试 很多 不同 的 游戏。 所以 当时 我 觉得 比较 好玩的 主要是 be able 和 rec room 这 两个 游戏。 我 现在 主要是 把 V R 当做 一个 纯 健身 用 的 东西, 所以 经常 用 那个 fit X R。 我 有的 时候 其实 是 会 是 比如说 我 带着 ocular quest, 然后 用 virtual test talk 之类 的 东西, 然后 就 可以在 oculus 块 里面 用 电脑。

是 把 你的 桌面 放到 oculus 里面 去 是吗?

投射 到 oculus 里。 对对对。

现在 它 有 这个 功能, 那你 现在 怎么 交互 呢?

就是 鼠标 和 键盘。 因为 电脑 上 程序 不支持 这些 新的 交互 模式, 光 把 V R 当 个 巨大 的 屏幕 用, 其实 已经 很好 用了, 可能 有 一些 小的 问题, 我 认为 这个 未来 都 可以 很 容易 解决 的。 比如说 它 偏重, 你 比如说 带 1个小时 可能 会 觉得 比较 累。 这个 其实 挺 有意思, 就是你 坐在 这儿 的 时候 就 觉得 比较 累。 但是 你 比如说 你 玩 1个小时 be able 就 不会 觉得 那么 累, 其实 也就是 也是 一个 很 有意思 的 问题。

另外一个 问题 就是 分辨率 的 问题。 当然 我 用 的 是 第一代 的 oculus quest, 第二代 oculus quest 已经 高 很多 了。 最近 有 一些 新的 V R headset, 比如说 好像 惠普 有一个 新的 headset, 它 好像 就 分辨率 比 office quest 2还要 高。 当然 还有什么 pi max, 还有什么 H K 那个 几乎 已经 接近 视网膜 的 分辨率 了。

所以 你是 会 带着 V R 设备 写 程序 的。

我不会 每天 都 带着, 但 我 有时候 会 试一试。

比如说 你 带 他 写 程序, 你 会 用 多久 呢?

我 一般 可能 用 半个 小时 40分钟 就 很 累了, 就会 把 摘 了。 用 普通 电脑 写。

主要 还是 因为你 现在 那个 设备 它 不是 一个 最高 的 分辨率。

对对对, 然后 另外 还 比较 重, 我 就说 这 两个 问题 都 不是 真的 问题, 对 吧? 你 比较 重, 你可以 通过。 现在 有 一些 设备 已经 开始 试 这么 做了。 他 把 它的 计算 功能 全都 用 一根 线 连到, 比如 你的 口袋 里, 而 不是 在 设备 上。 本身 电池 也可以 放到 口袋 里, 那 它 就 变得 更 轻 了。 分辨率 像 我 刚才 说 的 一样, 已经 有 更 高分辨率 的 显示器。 它 只是 授予 这个 价格 问题, 它 并没有 用到 所有的 设备。

其实 你说 它 能把 计算 放在 口袋 里 的话, 在 我的 想象 中, V R 其实 可以 不用 是一个 全部 把 你 包 起来 的 一个 东西, 它 可以 是一个 眼镜 儿, 它 可以 做 的 很 轻便。

是 这样。 但是 光学 可能 又是 另一个 问题。 现在 做 的 比较 好的 光学 软件 就是 一个 镜子, 然后 后面 一个 显示屏。 这样的 模式 下, 你的 这个 眼睛 永远是 有 一定 厚度 的。 有人 在 做, 比如说 他 能 不能用 一个 特别 薄 的 镜片, 然后 用 波导 的 方式, 就 有点 类似 A R 的 方式 用 波导, 然后 用 小 投影仪, 然后 波导 再 导 到 你的 这个 镜片 上, 然后 让 你 看到 这个 图像。 这样的 这个 点 当然 会 更 薄, 但是 波导 就 回到 我 刚才 说 的 A R 比较 容易 有的 问题。

现在 还没有 办法 让 波导 做到 跟 人的 视网膜 那么 高分辨率 的 显示器。 波导 有 物理 限制, 它 太薄 了, 以至于 有 一些 什么 量子 这些 的 东西 我也 不太 理解。 但是 它 会 限制 最高 你 能 显示的 像素 密度, 那么 它 就 不一定 能 实现 我 刚才 说 那种 非常 舒服 的 8K的 模式 了。

V R 是一个 非常 古老 的 技术, 大家 都 认为 V R 之 祖 是一个 叫 ivan sutherland 的 人, 一九七几年 他 就 做了 一个 V R 系统。 现在 我 刚才 说 那些 问题, 分辨率、 重量 都有, 不仅 有, 而且 还是 十倍 的 问题。 当时 他们 做 的 那个 系统 是 吊 在 天花板 上 的。 这个 显示器 是 有点 类似 于 你可以 想象 古代 的 时候 摄像机。 我不知道 听众 们 有没有。

人 用过 古代 的 摄像机。

对, 就 摄像机 不是 会有 一个 小小的 取景器 吗? 取景器 里 是一个 小的 C R T 显示器, 当时 的 B R 就是 这么 做 的, 就是 两个 小小的 C R T 显示器。 说白了 从 某种 来讲, 现在 你 也可以 做 一个, 你 就 拆 两个, 网上 youtube 上 还有 视频 做 这个 就是你 拆 两个 摄像机 上 的 那个 取景器, 一个 眼睛 上 挂 一个, 然后 这就是 一个 最简单 的 V R 当时 设备 应该 是 他 做了 两个 取景器, 然后 他 做了 一个 小的 类似 头盔 的 东西。 但 这个 头盔 的 目的 只是 为了 固定 在 你的 头上, 能够 追踪 你 头 的 运动 特别 沉, 所以 它是 吊 在 天花板 上 的。 现在 追踪 都 是什么 光学 什么的, 他 当时 是 物理 追踪, 就是你 吊 在 天花板 上, 它 上面 有 个 轴, 然后 你 转到 哪, 他 能 知道 你 转 了 多少, 这 是一个 纯 物理 的 追踪 模式, 这 都 可以 做 V R 所以 现在 有 这么 好的 设备, 其实 它 只是 一个 能不能 卖 给你的 问题。

比如说 你 想做 一个 特别 好的 可以 替代 显示屏 的 东西 很 容易 对 吧? 你 都 不需要 说 我 刚才 说 的 那些 东西。 你 做 一个 非常 清晰 的 显示屏 掉 在 你 头上, 掉 在 天花板 上, 他 就 记 不成 了, 然后 又 清楚 了, 然后 就可以 立刻 开始 用了。 但 就是 不会 有人 做 一个 公司 去 卖 这种 设备, 对 吧? 因为你 也 不会 为 在 家里 掉 一个 特别 奇怪 的 东西 在那。

对, 就 你 刚刚 提到 V R 光学 上 的 一些 东西, 其实我 有一个 问题, 就是 比较 近期 的 V R 就是 大家 普遍 理解 的 这种 V R 眼镜。 最 开始 在 V R 刚刚 出来 的 时候, 大家 对 V R 的 第一印象 就是 眩晕, 感觉 得 戴 它 一会儿 会 很 晕。 我看 现在 的 设备 V R 的 眩晕 感 好像 已经 很大程度 上 解决 了。 这个 是 怎么 解决 的? 它的 门槛 高 吗?

这就是 交互 中 非常重要 的 一个 问题。 其实 不管 交互, 它 也是 硬件 和 计算机 图形学 的 问题。 眩晕 只有 一个 原因。 就是 你的眼睛 看到 的 信息 和 你的 人的 耳朵 里 有 类似 加速器 陀螺仪 这样的 一个 器官。 人 平时 是用 这个 东西 来 保持平衡 的。 比如说 为什么 你 闭 着 眼睛 也可以 站在 地上 而不 摔倒, 是因为 你 脑袋 里 有 这样 一个 加速 计 陀螺仪。 这 一个 原因 就是 因为你 脑袋 里 的 这个 类似 加速 计 陀螺仪 的 设备 收到 的 信息 和 你 眼睛 看到 的 信息 不符。

最简单 的 一个 例子, 比如说 V R 过山车, 你 戴上 一个 V R 眼镜 坐过山车, 它 就 容易 晕, 为什么呢? 因为你 本来 是 坐在 原地不动 的, 而 你 看到 的 图像 你 在 快速 的 运动, 而且 你 在 快速 的 改变 角度。 那么 你的 脑袋 就会 认为 我应该 收到 一个 这样的 信号。 但是 你 耳朵 里 的 传感器 又 没有 收到 这样的 信号, 他 就会 认为 你是不是 吃 了 一些 不该 吃的 东西。 你 可能 就会 引起 有些人 呕吐, 有 有些 有些人 眩晕 这样的 问题。

现在 的 设备 为什么 不容易 造成 眩晕 了 呢? 第一个 原因 是因为 大家 用 的 这个 程序设计 的 更好 了。 最早 的 时候 的 B R 比如说 offs rift 的 developer version, 比如说 第一个 开发者 版本 是 不 还有 侧向 的 追踪 的。 它 只有 三个 自由度 的 这个 追踪 就是 你的 头 的 转动 角度。 也就 意味着 比如说 当你 在 左右 移动 的 时候, 这个 图像 是 不会 随着 你的 头 改变。 那么 这个 造成 的 最简单 的 一个 直接 情况 就是 如果你 带着 V R 同时 你 又 进行了 一些 左右 的 移动, 或者 前后 的 移动, 或者 上下 的 移动。 那么 它 就 直接 会 导致 刚才 我说 的 这个 不 匹配。 现实生活 中 你的 这个 传感器 感受到 你的 左右 动, 但是 你 看到 的 图像 并没有 左右 动, 那么 它 就会 直接 导致 眩晕。

由于 这个 技术 限制, 导致 另一个 问题, 就是 你的 这个 程序 是 不可能 完全 不动, 只用 一个 视角 的。 你 如果 程序 想 设计 一些 动 视角 的话, 他 一旦 动 视角 就 又 和 你 原来的 那个 视角 不 匹配 了。 那么 他 一 不 匹配 你 就 又会 晕 了, 也就是 技术 问题 导致 了 程序 上 设计 的 问题。 最后 综合 上 使得 最 早期 的 V R 非常 的 眩晕。

还有一个 技术 问题 就是 刷新率 的 问题。 很多人都 会说 什么 90赫兹 就 不 或者 120 赫兹 就 不 晕 了, 这是为什么 呢? 很 简单 的 原因 就是 当你 只有 30赫兹 的 时候, 你的眼睛 看到 的 图像 不是 非常 的 流畅, 它 就 会有 一些 延迟, 延迟 会 导致 我的 头 往 左 运动 了。 但是 这个 图像 需要 过 几 毫秒 才会 往 左 运动, 这个 时候 就 有的人 可能 比较 敏感, 他 就 容易 造成 眩晕 的 这个 问题。 尤其是 当你 移动 的 比较 快 的 时候, 他的 这个 差距 就会 更大。

还有 纯 交互 问题 导致 的 眩晕, 一个 是 这个 程序 本来 设计 的 就 不好, 你 比如说 现在 基本上 已经 没有 程序, 你 在 推动 摇杆 的 同时, 它 会 随着 你 推动 摇杆 的 速度 去 旋转 你的 视角。 比如说 你 在 电脑 上 打 射击 游戏, CSGO 就是这样 设计 的, 你 移动 鼠标 会 移动 你的 视角。 但是 几乎 没有 任何 一个 现在 的 V R 程序 还会 这么 设计 的, 就是 移动 控制器, 移动 视角, 这 非常 的 晕。 因为 旋转 是一个 你的 耳朵 可以 非常 清晰 感知 的 运动。 但是 如果 你的 图像 旋转 了, 你的 现实生活 没有 旋转, 那 很快 就 眩晕 了。

现在 一般 解决 方法 就是 要么 就 不连续 的 转, 比如说 red room 里 你可以 转转 的 时候, 你 就 往右 按 这个 控制器, 它 就 立刻 给你 转 90度。 而 就是说 我 根据 你的 控制器 移动 的 角度 而 转动, 而是 一个 瞬间 的 转动。 瞬间 的 转动 有一个 好处 就是 你的眼睛 不会 感觉到 这个 图像 在 往 左 动, 而是 这个 眼睛 感觉到 它 突然 这个 图像 这样 发生 了 切换。 它 就 不容易 让 你的 脑袋 感知 到 说 我应该 拿 眼睛 的 图像 和 耳朵 图像 比 1比是不是 一样的。 其实 说白了 就是 你的 高级 认知 知道 你 旋转 了 90度, 但是 你的 低级 认 甚至 没有 认为 一 旋转 到 90度它 就 不容易 眩晕。

我 发现 一个 很 奇怪 的 现象, 就 比如说 我 玩 B C B 玩 1个小时 我 都 不会 眩晕。 但是 那个 red room 我 其实 就 注册 了 一下。 然后 我 刚 进去 走到 那个 世界 里, 我 只要 往前走, 我 就 开始 晕 了。 我 就 发现 我 大概 玩 到 5分钟, 我 就 开始 想 吐 了, 我 就 玩 不 下去 了。 那个游戏。

没错, 这就是 另外一个 问题, 就是 怎么 在 V R 里 移动 的 问题。 V R 移动 是一个 非常 严重 的 问题, 到 现在 还 没有人 解决 的 非常 好。 这 有 几个 方案, 就是 沿着 我 刚才 说, 有没有 办法 去 减缓 刚才 我说 的 那个 问题。 就是 有些 时候 你 不得不 移动, 你的 屋里 只有 3米乘3米, 你的 V R 世界 有 100米乘100米, 你 总要 做 一个 使得 你的眼睛 看到 的 和 你 耳朵 的 里 的 传感器 感觉 到了 不一样的 动作。

现在 有 两个 比较 常用 的 解决 方法, 一个 方法 就像 我 刚才 说 的 转动 问题 解决 方法 一样。 我要 把 你 传送 过去, 而 不是 让 你 慢慢的 过去。 传送 过去 就 不容易 晕。 因为 就像 我 刚才 说 一下, 你的 高级 认知 中枢 知道 你 换 了。

一个 位置 就 瞬间 转移。

没错, 他 就 还没有 来得及 反应 过来 发生了什么, 他 就 所有的 东西 都 变了, 他 就 不会 认为 我应该 和 我的 耳朵 里 的 传感器 比1比。 第一个 办法 就是 限制 你的 可视 范围。 我不知道 大家 有没有 注意 过 这个 情况, 就是 如果你 玩 一个游戏, 这个 游戏 允许 你 进行 平滑 的 移动。 刚才 我说 那种 传送 的话, 它 就是 一个 不 平滑 移动。 但是 很多 程序 他 可能 希望 你 有 平滑 运动。 比如说 你 在 打枪 的 游戏 里, 如果 你可以 一直 的 传送 的话, 它 就是 个 完全不同 的 游戏 了。 平滑 移动 的 游 的话, 他 如果 想 提供 一个 很 好的 交互 体验, 它 往往 会 限制 你的 可视 范围。 限制 可视 范围 的 一个 好处 就是 人 去 识别 自己 移动 方向 的 方法, 很大程度 上 是 靠 你的 这个 周边 的 视觉。 如果你 移动 的 过程中 把 你的 周边视觉 限制 了, 那你 感知 到 的 速度 就会 变得 更慢, 就 更 不容易 产生 眩晕 的 感觉。 你 刚才 说 的, 我 怀疑 是因为 recon 现在 是不是 默认 给你 提供 的 移动 模式, 主要是 平滑 移动。 它 虽然 限制 了 周围 的 可视 范围, 它 仍然 有些人 会 更加 敏感, 他 就 容易 产生 眩晕 的 问题。

对, 比如说 你 转角 的 时候, 它 可能 是一个 突然 切换。 但是 他 刚 进去 的 时候, 就是 它 有一个 公园, 有 一段路 你 要 自己 走到 那个 门 那儿 去就 相当于 我不 移动, 但是 我 用 控制 手柄 看起来 我 移动 了。 所以 这就是 你说的 那个 非常 典型 的 问题, 就是我 自己的 认知 没有 去 欺骗 到 我自己。

对对对, 这就是 你的 图像 和 你的 耳朵 里 不 匹配, 它 就会 立刻 产 眩晕 的 感觉。 B C ver 为什么 一点 的 这个 问题 都 没有? 是因为 B C ver 根本 就 没有 任何 的 控制器 去 移动 自己的 方式。 你 移动 自己的 方式 只有 真的 在 屋里 做 移动。 那你 在 真的 屋里 做 移动 的话, 你 就 很难 眩晕。 因为你 能 看到 的 物体 V R 与 世界 中的 物体 的 移动, 和 你的 传感器 感知 到 的 是 完全一致 的, 它 就 不会 产生 眩晕 的 感觉。

所以 其实 现在 的 V R 它是 比较 适合 做 一些 静止 类 的 游戏 跟 运动 的, 而 它 并不 适合 大量 跑动 的 这种 游戏。 就 比如说 像 传统 游戏中, 你 用 游戏 手柄 去 跑 的, 去 探索 世界 的, 其实 它 在 V R 中 很难 实现。 这 可能 是 V R 现在 游戏 面临 的 一个 技术 瓶颈。

可以 这么 认为, 净值 肯定 是 最好的。 移动 现在 来讲 会 产生 一些 适应 的 问题, 但是 我 觉得 这个 问题 不一定 是 最终 用 技术方法 解决 的 问题。 技术方法 可能 可以 解决, 我 曾经 想 过 一些 方法, 但是 最后 也 遇到 一些 困难。 这个 问题 有可能 是一个 最终 会 随着 时代 的 发展 而 被 解决 的 问题。

我 同学 他的 爷爷奶奶 辈 儿 的 家长, 他们 看 特别 大屏 的 电视 会 眩晕。 因为 大屏 的 电视 里 显示的 物体, 如果 它 足够 大 的话, 它 也会 产生 我 刚才 说 的 这个 问题。 比如说 电视 里 自己的 东西 再 往后 移动, 但 你的 人是 坐 的 静止不动 的那 其实 是一个 人是 可以 适应 这个 的。

对你说 看 特别 大屏 的 电视 会 产生 眩晕, 让 我 想起 了 如果我 去 看 一场 电影, 我 坐在 前 三排 我 可能 就会 产生 眩晕。 这个 应该 跟 你说的 是 一样的 情况。 当 这个 电影 画面 在 特别 快速 前进, 我 又 离 他 这个 画面 足够 近 的 时候, 就 产生 了 眩晕 感。

对, 完全正确。 我想 强调 的 就是 这个 眩晕 感 是 可以 通过 你 反复 尝试 这个 程序, 或者说 年轻 的 一代人, 他们 很小 就 接触 过 A R V R 设备, 他们 可能 从来 就 不会 产生 这个 类型 的 效应。

还有 晕车 是不是 也是 这个 道理?

对对对, 就是你 晕 多了 就 不 晕 了, 是 这样。 这个 问题 其实 分为 两方面, 就是 V R 移动。 V R 移动 我 认为 其实 最 需要解决 的 方面 是你 就 压根儿 不应该 通过 手部 运动 来 调节 你 腿部 的 运动。 就是现在 的 V R 很大 的 问题在于 你 每次 活动 的 时候 是 推 摇杆, 但是 就 很不 直观, 而且 你 很 影响 你 手上 干 别的。 你 比如说 我 拿 这个 东西, 我想 去 另 一个地方, 你 这 一只 手拿着 另一手 推 摇杆, 这 其实 是一个 不 自然 的 过程。

一个 问题是 怎么能 用 腿 去 控制 腿 的 运动。 腿 很 麻烦, 因为你 得 站 着, 然后 同时 你的 腿 就 不太能 动。 比如说 有人 就 做 那种 多 向 的 跑步机, 它 就可以 解决 就是 让 你的 腿 去做 腿 该 干的事, 手 去 做手 该 干的事。

很多人都 会 产生 的 这个 错误 认知 是你 在 多项 跑步机 上 就 不会 眩晕 了。 多项 跑步机 上 一样 会 眩晕, 因为 它 一样 有 这个 不 匹配。 你 在 现实 世界 中 脑袋 没有 动, 但 你 在 虚拟世界 中 脑袋 动 了。 但是 它 有 一点点 好处, 你 在 现实 世界 中 脑袋 在 上下 动, 你的 耳朵 里面 的 传感器 收到 的 信息 非常复杂, 它 就 不 那么 容易 注意到, 它 好像 没有 前后 移动 这样 一个 问题。 就是我 刚才 说 的, 他 这个 眩晕 的 问题 不是 能 完全 通过 这个。

技术 解决 的那 要 通过 什么 解决? 你说的 一个 是 可以 适应, 还有一个 是什么 呢?

这就是 通过 人的 方法 解决, 就是 适应。 或者说 过 20年以后, 所有的 人 小时候 都 用过 B R, 他 就 根本 不用 适应, 他 从小 就 没有 这个 问题。

你 有 玩 过 where sandbox 吗? 它是 一个 去 线下 玩 的, 你的手 跟脚 都会 带上 那个 V R 传感器 的。 我看 他的 那个游戏 场景 挺 多 的, 但 他 不会 眩晕。

正好 提到 了 一个 我没有 讲 的 V R 移动 的 方式。 V R 我 刚才 说 移动 两种 主要 方式, 主要是 快速 不连续 的 传送, 或者说 连续 的 用 推 摇杆 方式 移动。 还有 一种 方式, 你可以 管 它 叫 V R 移动 方式, 你 也可以 认为 它 就是 跟 B C 一样, 就是 没有 一种 特殊 的 V R 移动 方式。 它的 方法 就是 虽然 你 有一个 有限 的 3乘3的范围 的 这样 一个 大小 的 区域, 我可以 通过 复用 你的 空间 的 方式, 让 你 感觉 你 好像 去了 很多 地方。

你可以 把 这个 303的房间 规划 成 四个 不同 的 房间。 比如说 你 每次 都 顺时针 在 这个 四个 房间 中 移动, 你可以 顺时针 绕回 原来 那个 房间 的 时候, 这个 房间 里 的 东西 已经 发生 了 变化, 它 已经 不 长 原来 那个 样子。 那你 就可以 把 很多很多 的 空间 叠加 在 同样 有限 的 3米乘3米 的 范围 之内, 你 就可以 展现 无限 多 种类 的 空间。

这样的 好处 它 完全 不会 眩晕。 因为你 在 每一个 位置 相对 来讲, 你的眼睛 里 看到 的 移动 和 你 感知 到 移动 是 一致 的。 但是 它的 坏处 就是 你的 高级 认知 会 稍微 有一点 混乱。 因为 它 跟 现实 世界不一样。 在 现实 世界 里 你 往前走 3米, 往 左 走 3米, 往右 走 3米, 往后走 3米又 回到 原地 了。 但 你可以 设计 一个 V R 游戏, 往前走 3米, 往 左 走 3米, 往右 走 3米, 往后走 3米, 他 到了 一个 不同 的 地方, 有些人 会 把 这种 操作 叫 非 欧几里得 空间, 你可以 设计 一个 非 欧几里得 空间 的 V R 游戏, 它 可以 有 很大 的 空间, 但是 它的 问题 就在于 可能 会给 人 带来 一些 疑惑, 但是 有人 试 过 基本上 不会 有 太大 的 问题。

对于 来讲 没有 那么 自由。 你 不能说 你 在 现实 世界 中, 如果 你知道 我要 去 隔壁 的 咖啡厅, 我知道 往前走, 往 左 走, 往右 拐走 100米, 然后 怎么着 他 就 到了。 但是 在 这样 一个 非常 地理 的 空间 里, 除非 有一个 导航 一样的 东西 告诉你 该 怎么走, 否则 你的 脑袋 是 很难 记住 这样 一个 叠加 的 很 复杂 的 空间 的。

我 觉得 挺 有意思, 有 这样的 游戏 吗? 现在 有 落地 过 的 吗?

如果你 搜 非 欧几里德 空间 V R 游戏, 应该 是 可以 直接 搜 到 一些 游戏 的。 3 box V R 就有 一点 这个 感觉。 我 玩 过 那个 好像。

没有你 玩 的 是什么 主题。

我 玩 的 好像 是 一堆人 打枪, 打 海上 的 怪物 或者 什么 之类 的。

你 买的 可能 是 海盗 主题, 我 玩 的 是一个 太空 主题。 它 那个 主题 里面 就是 在 房间 里面 还是 会有 蛮 多 动作 的。 因为 它的 脚 上 也有 传感器, 所以 它 能 感知 到 的 触键 就 更多。

没有, 它 其实 是从 头部 传感器 感知 你的 移动 的那 脚 的 传感器 只是 为了 让你能 在 空间 中 看到 角, 这个 比较 类似 B C 就是 你走 一米 它 就是 1米, 它 没有 特别 多 的 技术 问题, 对 吧? 它 只需要 你的 程序 写 的 没问题 就可以。 3d mark V R 至少 我 试 的 那个 体验, 它 比较 类似 于 它 完全 可以 实现 成 我 刚才 说 的 那种 情况。 就是 它 可以 复用 你的 空间, 然后 你走 到 不同 的 位置 是一个 不同 的 房间。

我 试 过 另一个 叫 the boy 的 V R 的, 它 就是 特别 好的 利用 了 我 刚才 说 的 一点, 就是 它 只有 一层。 但是 你 玩 那个 V R 游戏 是 有 好几层 的。 它 有 个 电梯, 你走 到 电梯 里 的 时候, 它 那个 电梯 是你 脚下 会 踩 一个 板儿 上, 那个 板儿 会 震。 它 通过 震 的 方式 让 你 觉得 你 好像 在 电梯上 一样。 当你 从 二层 下 到 一层 的 时候, 实际 你 在 真实世界 的 空间 里 是 没 动 的。

他是 在 视觉 上正 还是 说 你的 手柄 会 震。

他 就 真的 在 地上 安装 了 一个 可以 震 的 板儿。

他 还是 需要 物理 空间 的 配合。

V R 尤其是 作为 娱乐 这个 功能 的话, 是一个 非常 大家 都在 研究 的 这个 事情, 就是 它 叫 被动 的 触觉 反馈 的 道具。

挺 有意思 的。 你 刚刚 在 开始 的 时候, 你说 到 V R 未来 一定 是 会 取代 计算机 的。 你为什么 会 下 这样 一个 判断?

D R 它的 输入 和 输出 都是 比 计算机 更强 的。 它的 输出 的话, 它的 显示屏 是从 工程 上 是 无限大 的。 你是 在 面前 摆 三 筷 4K显示屏 好 呢? 还是 我在 你 面前 摆 1.8块 K 显示屏, 然后 想 有 多少 显示屏 就有 多少 显示屏 好? 那 显然 是在 你 面前 摆 显示屏 是 更加 便宜 而且 更好 的 方案。

你 觉得 这天 要 多久 到来?

五年 之内。

五年 之内 代替 计算机。

对对对, 因为 8K的 显示 技术 已经 有了, 然后 光学 眼镜 已经 有了。 计算技术 的话, 最 次 就是你 需要 单独 在 旁边 放 个 电脑。 已经 有 越来越多 的 移动 设备 的 计算能力 越来越 强 了。 比如说 新的 ipad 里面 有 M1 的 芯片, 它 就 计算能力 很强。 当然 可能 也 不够 真的 能 渲染 8K的 视频。 当然 就像 我 刚才 说 的 一样。 最 次 就是你 旁边 还有一个 独立 的 机箱, 但是 你 不需要 显示屏, 这就是 某种 还是 体验。 然后 鼠标 键盘 可能 需要, 可能 不需要, 那 取决于 未来 有 多少 的 程序 能够 适配 这种 纯 V R 的 交互 模式。

台式机 还有一个 特点 在于, 人们 用 台式机 的 原因 就是 为了 把 自己 完全 沉浸 在 你的 这个 虚拟 的 内容 中。 如果你 不是 在 为了 全 认证 虚拟 内容 时候, 你 会 用 手机 的对 吧? 为什么 你 用 台式机 50% 的 情况下 使用 笔记本? 有的 时候 你 使用 笔记本 是 为了 给 别人 看, 说 分享 一些 信息。 当然 这个 在 分享 在 V R 里 也是 很 方便 的。 如果我 在 V R 里 zoom 我 就可以 得到 一个 更加 沉浸 的 体验, 而 不是 像 我们 现在 这个 字母 更加 苛刻 的 一个 体验。 它的 输出 非常 的 强, 它的 输入 也 非常 的 强, 它的 输出 都 比 台式电脑 更好。 而且 它 实现 了 完全 的 沉浸式 体验, 这就是 台式电脑 想 达到 而 达不到 的 这样 一个 目标。

所以 你 觉得 它 其实 替代 的 是 台式电脑 的 显示屏, 而 不是 笔记本电脑, 而 不是 主机。

我 觉得 V R 它 就是 一个 输入输出设备, V R 并不 直接 绑定 任何 计算 设备。 你可以 用 电脑 做 计算, 也可以 在 V R 设备 里面 做 计算。

你可以 把 它 去 连接 计算 设备, 它 只是 一个 显示 设备。

它 只是 一个 输入输出设备, 控制器 也 属于 B R 的 一部分。 当然 现在 更加 时髦 的 就是 手势 追踪, 对 吧? 如果你 能 把手 完全 追踪 了, 那么 你 显然 就 不需要 键盘 鼠标 了。 你 有可能 需要 一个 假的 键盘 鼠标, 让 你 有 感觉到 按 了 一个 键 的 这样 一个 键盘, 它 就 够了 对 吧? 因为 他 需要 给你 一个 触觉 反馈, 但是 你的手 到底 用 没用, 完全 可以 由 D R 设备 再去 追踪。 当然 这 只是 一种 实现 方式, 你 也可以 实现 成 这个 键盘 是真的。 但是 我 认为 这 很 可能 未来 可以 实现 成 这个 键盘 是 不需要 是真的, 这样 你 就可以 你的 键盘 想要 多少 反馈 就要 多少 反馈, 你 又 不用担心 它的 键 不好 用 之类 的 问题。

假的 键盘 是什么? 就是 像 rec room 现在 的 交互 没有。

就是 一个 跟 你 现在 键盘 长 得 一样。 但是 它 不是 一个 里面 有 电子设备 的 键盘, 它 只是 一个 里面 有 弹簧 的 键盘。

那 它的 作用 是什么?

它的 作用 是 让 你知道 哪 是 哪个 键。 D R 很大 的 一个 我 认为 短期内 不能 解决 的 问题 就是 它 会 变得 更好, 但 它 不会 直接 完全 解决 这个 问题, 就是 触觉 反馈。 你 比如说 我 打字 的 时候, 我需要 摸 J 和 F 键 在哪? 因为 这是 大家 食指 一般 摸 的 位置, 你 在 V R 里 没法 模拟出 这种, 就是 你可以 摸 一个 东西。

它 能 弹回来, 那个 键 你可以 碰到 它。

一方面 弹回来, 另一方面 其实 那就 涉及到 触觉 反馈 有什么 类型 了。 我不是 专业 做 触觉 反馈 的, 但 大概 可能 就 包括 你 刚才 说的是 一种, 就是 当你 压下去 的 时候, 它 有一个 力学 的 反馈。 另一个 是 当你 横 着 扫 键盘 的 时候, 你 会 得到 一个 键盘 上 的 纹理。 所以 这 两者 都是 比较 重要 的 触觉 反馈 上 的 内容, 这 两个 都 很难 用 一个 设备 去 实现。

网上 有 一些 让 你 感觉 很 科幻 的, 比如说 ready player one 里面 那个人 戴 个 手套, 他 好像 什么都可以 干了。 其实 事实上 是 很难 做到 的。 从 力学 上 来讲, 你的 一个 手套 能 给你 施加 的 力 特别 有限, 可能 也就 一两百 牛。 你的手 摁 到 一个 桌子, 这个 桌子 立刻 把 你 停住 的 时候, 那一瞬间 可能 有 好几千 牛, 你是 很难 通过 一个 小 电机 去 实现 这么 清脆 的 力学 反馈。

然后 另一个 问题 就是你 怎么能够 渲染 出 这种 特别 精细 的 纹理。 有人 做, 比如说 他 放 一个 小的 扬声器 在 你的 手指 上, 你的手 去 识别 表面 的 纹理 的 方式 主要是 靠 震动, 次要 是 靠 你的 手里 有 很多 传感器。 然后 这个 传感器 的 相对 位置 关系, 它 如果 有一个 可以 震动 的 东西, 你 滑动 过程中 它 同时 给你 震, 它 能 让 你 感觉到 那个地方 好像 有 不同 的 纹理 一样。

这个 太 有意思 了, 就 相当于 这个 研究 V R 它的 输入输出 类似 于是 一个 不停 的 怎么 去 用 不同 的 系统 来去 欺骗 人的 感官 认知 的 一个 过程。 他 其实 就是 骗 你的眼睛, 骗 你的 耳朵, 骗 你的手, 他 来 不停 的 欺骗 你的 身体 的 各个 器官, 让 他 误以为 你 以前 的 那个 物理 世界 还是 V R 中的 物理 世界。

完全 没错。 对, 就是 整个 V R 研究 就是 输入输出 研究, 就是 怎么能 把 你 骗 得 更好。 交互 的 研究 是 把 你 完全 骗 了 之后, 你 就 完全 在 一个 虚拟世界 中 了。 然后 在 这个 虚拟世界 中, 你 怎么 设计 一套 完全 跟 现实 世界 中 不同 的 交互, 更加 方便 你的 交互。

斯坦福 的 V R 的 实验室 或者 研究 在 业界 是一个 什么样 的 地位?

有一个 跟 B R 相关 的 实验室 叫 什么 virtual human interaction lab.

那个 是 社科类 的。

对对对, 他们 主要是 研究 B R 作为 新 媒介, 可以 是人 和人 进行 交互 的, 没有 一个 唇膏 B R 的 实验室。 还有一个 实验室 是 computational image, 它 既 不是 图形学, 它 也 不是 计算机视觉, 计算 摄影 是 它的 一个 分支。 有一个 lab, 它 主要 研究 光学 和 怎么用 计算 去 增强 整个 成像 的 这个 过程。 这个 可能 跟 A R 比较 有关系。 A R 的 objects, 包括 B R 里面 一些 你 怎么 渲染 多个 不同 深度 的 图像, 这 可能 是 他们 主要 做 的 内容 多 不同 的 深度。 就是我 刚才 说 的 那个 问题, 就是现在 的 V R 就 永远 把 物体 放在 零点 5米到1米 之间 这样 一个 位置。 未来 你 希望 它 可以 把 物体 放在 任意 距离 的 位置, 那 可能 对于 一些 需要 的 沉浸式 体验 的 应用 来讲, 会 更有 他们 去 研究 怎么 去做 一个 光学系统 能够 完成 这样的 任务。 怎么 去做 一个 光学系统 背后 的 计算 系统, 能够 快速 的 把 这些 图像 渲染 出来。

这个 感觉 也 挺 有意思 的对。

还有一个 lab 上 封面 的 lab 好像 主要 在 做 一些 跟 触觉 反馈 相关 的。 因为 触觉 反馈 这个 问题, 大多数人 在 研究 这个 问题 的 时候 都会 跟 A R B R 扯 上 一些 关系, 所以 他们 那个 实验室 也 在 做 一些。 我在 的 这个 实验室 其实 不是 主要 做 A R B R 的, 我们 就是 做 相对 来讲 比较 大范围 的 技术 类型 的 叫 问题。

比如说 物联网 语音 交互 这些 类别 的。

我们会 做 语音 交互, 我们会 做 一点点 人机交互。 在 教育 方面 这些 问题, 比如说 怎么 去 设计 一个 环境, 但是 这个 就 比较 接 类似 我在 说 普 世 计算 的 想法 了。 我 怎么 让 这个 环境 是 智能 的。 比如说 自动 的 调控 这个 屋里 的 一些 空气 湿度、 亮度, 搞 一些 显示屏 在 你 周围, 来 降低 你的 压力, 让 你 工作效率 更高, 这样的 一些 问题。 我们 每个 学生 在 这个 lab 里 做 的 都 不太 一样。 我自己 做 的 主要是 跟 A R V R 相关。

你的 导师 是 跟 vrar 有 相关 的 吗?

他 做 的 就是 比较 通用 的 人机交互 方面 的 技术。 他 可能 个人 比较 感兴趣 的 主要是 教育 交互 上面 的 一些 交互 方法。

这个 人是 研究 教育 方向 的 人机交互, 可以 举 个 例子 吗? 比如说 你们 在 研究 教育 方向 的 人机交互 大概是 什么 呢?

现在 上课 的 方式 都是 有, 我 有一个 课本, 课本上 有什么 我 教 你 什么。 那 他在 想 未来 有没有可能 有一个 更加 贴近 你 生活 的 教育方式。 比如说 以后 你 上课 就是 出去 转 一圈, 你 在 转 的 过程中, 比如说 他 看到 了 一棵树, 他 可能 还是 有 一些 基础 的 知识 设置 的。 但是 他 会 根据 你 周围 看到 了 什么, 引导 你 去 了解 某个 方面 他 想 去 了解 的 知识。 也就是说 他 把 他的 知识 绑定 在 了 你 现实生活 中 看到 的 物体 上。 但是 就是 类似 有点像 怎么用 增强现实 去做 教育 这样 一个 问题。

所以 需要 在 物体 上 安装 芯片。

物联网 没有, 那 他 就是 通过 比如说 计算 视觉 的 方式 识别 你 周围 看到 了 什么 物体。

那 设备 是什么 呢?

就是 比如说 homeless 就可以, 它 有 摄像机 吗?

Hold less 也是 V R 设备 对 吧? 是 A R 设备, 就 那个 眼镜, 微软 的 那个 眼镜 对 吗? 没错, 所以 它的 设备 就是 一个 智能眼镜。

但是 我们 现在 主要 在 做 原型 都 是用 ipad 做 的, 或者 某种 平板 做 的。 因为 平板 的话 它 有一个 相机, 对 吧? 它 也可以 实现 类似的 功能。 然后 平板 的 交互 相对 成熟 一点, 你 不像 我 刚才 说 的, 没有人 非常 清晰 的 知道 以后 的 A R V R 交互 会 是 什么样 的。 我 觉得 A R V R 还没有 迎来 像 iphone 这样的 设备。 它 从 某种程度 来讲 定义 了 移动 设备 的 交互方式, 它 定义 了 每个 程序 应该 长 什么样。 而 A R V R 现在 还没有 这样 一个 设备, 它 有 足够 好的 交互 模式, 让 你 觉得 未来 的 交互 它 就是 这个 样子。 现在 A R V R 交互 还没有 那么 确定, 所以 他们 主要 在 用 平板 去做 这个 测试。

你 觉得 V R 跟 A R 还有 很多 技术 上 的 问题, 包括 交互 上 的 问题, 包括 就是 你说的 怎么 解决 移动 中的 眩晕, 这些 技术 上 还没有 被 解决 的 问题。

对 那 当然 我 认为 V R 距离 非常 好用, 以至于 每个 人都 在 用。 我 认为 它的 主要问题 就在 交互 了。 我说 的 都是 学术界 的 问题, 硬件 软件技术 基本上 可以 够用 了, 够用 到 每个人 家里 应该 有 一台 了。 虽然 还 没有人 能 很 好的 解决 我 刚才 说 的 眩晕 问题, 触觉 反馈 问题, 但是 他 那 分辨率 已经 足够 高, 他的 这个 手势 追踪 已经 足够 好, 以至于 他 其实 是 可以 有 很 好的 前景 的。 但是 只不过 我们 需要 想 明白, 一个 足够 好的 方式 去 设计 这个 完全不同 的 V R 里面 适合 V R 使用 的 程序。 有了 这些 程序, 有了 这个 killed APP, 人们 才会 真的 愿意 使用 V R 设备。 尤其是 A R 就 不太 一样, A R 还是 非常 初期 的 阶段, 我 个人 认为 和 V R 还差 了 十年。

比如 V R 现有 的 交互方式 是什么? 未来 可能 还 会有 哪些 比较 新的 交互方式?

语音输入 是一个 大家 都在 搞 的 一个 方向。 其实 在 手机 上 已经 有人 做 过 实验, 就是 语音输入 是 比 打字 要 更快 的。 但是 用 语音输入 的 人 还是 少, 因为 语 输入 一系列 问题, 比如说。

不准确。

其实 语音 输 是 更 准的。 如果你 直接 比 的话, 因为你 打字 也会 删除, 然后 重新 输。 但 问题在于 你的 语料库 里 压根 没有 这个 词, 那 语音输入 是 一辈子 都 打 不 出来 这个 词 的。 但是 你 打字 你可以 强行 说 我 按 这 几个 键, 他 如果 觉得 你 这个 几个 键 and 非常 确定, 他 就会 把 你 这个 想法 这个 词 显示 出来。 云 说 就 如果 就 没有 这个 词, 他 就是 没办法, 那 可能 有人 想 解决 这个 问题, 比如说 你可以 把 这个 词 拼出来, 或者 怎么样 的 语音 输。 第二个 问题是 很难 输入 符号, 尤其是 你 打 代码 的话, 它 很多很多 符号, 你 就 很难 用 嘴 把 这些 符号 都说 出来。

刚刚 我们在 聊到 输入输出, 你 提到 了 语音输入 输出 可能 还有 一些 问题。 我自己 用 oculus quest, 我看 它 现在 的 这个 输入 方式 还是 一个 非常 传统 的。 就是 它 有一个 V R 的 虚拟 键盘, 然后 我的 手 的 控制器 会 去 决定 我要 打 哪一个 字母。 其实 是 打字 输入输出 的, 我 觉得 这个 特别 缓慢, 非常 不好 用。

从 某种程度 来讲, 为什么 你 要 文字 输入? 这也是 很 有意思 的 问题。 一般 情况下 你 要 文字 输入 的 原因 是因为 你 想自由 输入 一些 信息。

进入 一个游戏, 你 要 给 自己 取 一个 名字, 这个 名字 可能 不属于 任何 单词。

对, 或者 你 想 搜索 一个 东西, 或者 你 想 上 一个 网站。 其实 说白了 是你 需要 从 一个 无穷 长 的 列表 里 选择 一个 信息。 就是 当 列表 越长 的 时候, 我们 往往 就会 加入 类似 搜索框 这样的 自由 输入 文字 的 功能。

其实 另一个 办法 就是 用 语音输入。 如果 这个 设备 是 完全 为了 语音输入 去 优化 的, 那么 它的 交互方式 可能 会 和 现在 的 这个 程序 有 很大 的 区别。 现在 的 程序 基本上 就是 当你 在 输入 一个 搜索 结果 的 时候, 你 可能 可以 暂时 使用 一下 语音。 这 可能 已经 可以 完成 你 刚才 说 的 一些 问题 了。 比如说 你 想 输入 一个 名字, 你 用 语音 会 很快。

另一个 语音 的 本身 的 好处, 比如说 尤其是 虚拟 助手 这样的 好处, 它是 可以 做到。 你 现在 打开 一个 程序, 你 需要 点。 比如说 刚才 我想 把 我的 录音 设置成 无损 录音, 我需要 点 很 多次, 我需要 打开 语音备忘录 的 设置, 然后 再 打开 语音备忘录 的 语音 设置, 然后 最后 去 改变 它。 语音 它 可能 还有一个 好处 是 它 可以 用 一句话。 比如说 我只是 想说, 我 把 语音备忘录 的 录制 模式 改成 无损, 对 吧? 我 一句话 实际上 就 涵盖 了 我 刚才 点 了 好几下 的 操作, 因为 它 里面 表达 了 一个 复杂 的 逻辑。 未来 的 语音助手 是 有可能 可以 实现 这个 复杂 的 逻辑, 这也是 我 正在 研究 的 一个 方向。

未来 怎么 去 设计 这种 可以 多 模态 交互 的 程序? 多 模态 交互 指的 是你 怎么 不 只用 一种 方式, 比如说 点 就是 一种 方式, 而 语音 就是 另一种 方式。 现在 的 程序 基本上都 是 单 模态 的, 就 即使 它 可能 有些 时候 会有 一个 模态 的 转换。 比如说 我 点 到 这个 地方 了, 我 点一下 这个 键 就可以 用 语音 去 说话 了。 但是 它 也不 严格 意义 上 是 多 模态 的。 也就是说 我希望 未来 的 程序 是你 既 可以 说话 也可以 点。 你每 说 一句话 都会 影响 你的 界面, 你每 点一下 都会 影响 你 可能 可以 说 的话。

如果 未来 的 程序 它 设计 上 就是 为 这个 多 模态 交互 去 优化 的, 那么 我们 就可以 自由的 在 两者之间 切换。 比如说 我需要 快速 的 使用 某些 很 复杂 的 功能, 我 就可以 直接 用 语音。 如果我 需要 某些 非常 精确 的 控制, 比如说 我想 调节 音量 的 音量 就 不是 一个 很 适合 用 语音 调节 的 东西。 因为。 没法 说, 再 大 一点 再 大 一点 再 大 一点, 再 小 一点, 就 不如 你 直接去 调节 一个 伴儿。

对 吧? 其实 可以, 因为你 会 觉得 按钮 更 方便 一些, 就是 你的 设计 是从 哪个 更 方便 来 考虑 的。

从 工作 上 来讲, 我 觉得 未来 这个 设备 应该 是 都 支持。 但是 我会 把 所有的 我的 这个 程序 也会 自动 去 考虑 你 可能 想 做什么。 我 把 你 最 想做 的 东西 都 显示 在 图形界面 上。 如果你 有 一些 我 没想到 的 东西, 你可以 用 语音输入, 大概是 这么 一个 想法。

我们 刚刚 提到 了 输入输出 上, 现在 是 文字 的 输入输出, 然后 你 提到 了 语音 的 输入输出。 我不知道 在 学界 或者 在 你 自己的 研究 中有 什么人 提出 过 更加 具有 想象力 的 输入输出 方式 吗?

有 很多人 在 做, 比如说 用 眼 动 追踪 去做 交互, 他 非常 快, 他 可能 比 移动 鼠标 还 快。 因为 人的 眼睛 从 某种 来讲 是 校准 过 的。 比如说 我想看 左边 的 一个 单词, 我 一秒钟 就 瞄到 了, 我不需要 去 鼠标 慢慢 磨。 但 问题在于 一 他 可能 不太 准, 他 不是 特别 准。 每个人 戴上 这个 眼镜 都 需要 花 一段时间 去 校准, 可能 校准 完 你 一动 这 眼镜 他 又不 那么 准 了。

另一个 问题 可能 就是 人 动 眼睛 是一个 无意识 的 状态, 那么 如果你 强行 把 动 眼睛 绑定 到 一个 动作 上, 可能 就会 造成 一些 不适。 你 比如说 我 可能 只是 想 看一下 这个 字儿, 我 并不一定 想 点 这个 链接。 但是 如果你说 你看 5秒钟 我 就会 点 这个 链接。 我 可能 说 我 5秒钟 还没 看完 这个 字儿, 你 就 把 这个 链接 点 了, 就 很 让 我 不适。

有人 做了 一个 研究, 我 觉得 还 挺 有意思。 就是 他 做了 一个 交互方式。 比如说 这 有一个 可以 点的 链接, 或者说 总之 是 可以 做 的 这个 动作。 与其说 你 盯 着 这个 东西 町 5秒钟, 我 就 做 这个 动作, 可以 做 的 动作 旁边 放 一个, 比如说 一个 小球, 然后 这个 小球 在 一个 不同 的 频率, 就是 每一个 链接 旁边 都 有一个 小球, 这个 小球 可能 每个 小球 都在 做 不同 的 形状, 每个 小球 都在 以 不同 的 频率 在 这个 形状 上 运动。 这个 链接 可能 是个 三角, 那个 链接 可能 是个 五角星, 链接 可能 是个 圆, 甚至 这 两个 链接 都是 圆。 但是 这个 链接 每秒钟 转 一次, 那个 链接 每秒钟 转 两次。

你 去做 这个 动作 的 方式 是 盯 着 这个 球 看, 而 不是 盯 着 那个 链接 看。 这样的 好处 是 你的眼睛 需要 做 的 动作 将 会 是一个 更加 有意识 的 动作。 就是你 需要 追踪 着 一个 球 看, 而 不是你 只需要 往 那边 看 5秒钟。 这样 他 就 把 这个 眼 动 追踪 变成 一个 更加 有意识 的 动作。 而且 刚才 又 规避 了 这个 问题, 就是 准确度 的 问题。 因为 就算 你的 看 的 不是 完全 准, 但是 你 只要 在 进行 那个 运动, 它 就可以 识别 出 你 想做 这个 动作。

你 自己 在 玩游戏 的 过程 中有 遇到 过 哪些 让 你 比较 印象 深刻 的 交互方式 吗?

比如说 在 普 世 计算 里, 人们 一直 在 研究, 我 怎么能 非常 方便 的 跟 另 一个人 加 好友。 微信 可以 扫 二维码, 加 好友 就是 一个 很 方便 的 方法。 V R 里面 我 当时 就 玩 了 一个游戏 叫 red room, 在 red room 里加 好友 只需要 握手 就可以 了。

你知道 就是 对于 u become, 如果你 想做 u become research, 你 想做到 一个人 和 另 一个人 握手 就可以 加 好友, 这 有 多难 吗? 你 要么 就是你 带 一个 A R 一样的 设备, 你 一直 在 采集 周围 的 数据, 让 你 看到 一个 人脸。 然后 你 也得 保证 另一个 人的 脸 正好 在 这个 系统 里 已经 注册 过了。 你 还得 检测 到 你 和 他 握手 了。 你 不是 看着 A 跟 B 握手, 而是 你 看着 A 跟 A 握手 了, 你 还得 知道 这个 手 是谁 的。 在 u become 里 就是 个 很难 的 问题, 但是 在 V R 里面 这 不是 一个 问题。 因为 V R 系统 知道 一切 情况, 他 知道 那个 人的 手 是 那个 人的, 那个 人的 脸 是 那个 人的。 你 对 着 他 跟 他 握手 了, 那你 一定 是 想 加 他 好友, 那 这个 问题 就 不是 一个 问题。

那 会不会 握 错手 呢? 我 本来 不想 跟 他 加 好友, 但是 因为 我是一个 新手, 我 可能 就 跟 他 握手 了。

对对对, 当然 这 也有 一些 交互设计 的 问题。 但 光 从 技术 角度 来讲, 在 V R 世界 中 很多 U B com 想 解决 的 问题 都 不是 问题。 所以 我 觉得 这 可能 是 V R 里面 最 有魅力 的 一点, 就是 他 给 了 你 设计 交互 的 一个 巨大 大 的 空间。 刚才 你说的 问题 就是 一个 交互设计 问题, 你 怎么能 设计 这个 东西, 使得 人们 很 清楚 握手 的 时候 会 加 好友, 而 不是说 我 跟 你 握手 了, 我 以 为什么 事情 都 不会 发生, 没想到 我们 两个 加 好友 了。

挺 有意思 的对 吧?

这个 就有 很多 解决方案。 但是 问题在于 在 现实 世界 中, 你 受到 现实 世界 中的 限制, 有些 事情 是你 做不到 的。 但是 在 V R 里面, 从 某种程度 来讲, 你 几乎 一切 都 可以 做 得到。 然后 你 就 变成 了 一个 纯 设计 问题 了, 而 不是 一个 设计 和 物理 定律 之间 互相 打架 的 这样 一个 过程。 所以 我 觉得 这个 就 很 有魅力。 总之 就是 这个 方向 感觉 还有 很多很多 的 问题 人们 还没有 解决。 而且 可以 解决 本身 是一个 很 有意思 的 问题。 这也是 为什么 之后 选择 一直 在 做 一些 跟 A R V R 相关 的 研究。

你 刚刚 提到 了 好 几次, you become 简单 解释一下。

u become 就是 普 适 计算, 我应该 整个 都 用 普 世 计算 这个 词 来 替代。 普 适 计算 就 指的 是 它 其实 是一个 未来 愿景。 以后 周围 会有 越来越多 的 电子设备, 然后 这些 电子设备 它 会 帮你 记录 你 周围 的 一些 环境, 了解 你 在 做什么。 它是 一个 越来越 电子化 的 世界, 但是 它的 目的 是 为了 给你 提供 一个 越来越 不容易 被 人 察觉 的 电子 交互 界面, 最终 让 这个 科技 完全 融入 到 你的 生活 中。

因为你 想 你是 2016年 来 美国 读 博 的对 吧? 开始 研究 V R A R 的 方向。 2017年 用了 auctor rift, 觉得 特别的 好用。

我 印象 中 其实 facebook 当时 在 2014年 收购 oculus 的 时候, 当时 大家 对 V R 的 期待值 非常 的 高, 后来 也 经历 了 一波 低谷。 我 感觉 应该 是在 你 开始 要 确认 这个 研究 方向 的 时候, 其实 并不是 一个 大家 对 这个 技术 非常 热情 的 时候, 而是 一个 有所 质疑 的 时候, 它 有一个 技术 的 低谷期。 但是 好像 是在 今年, 我 感觉 V R 设备 好像 又 火 了。 一个 是 关注 的 人 越来越 多了, 然后 另外 是 开发商 也 越来越 多了。 就 从 你的 角度 来看, 为什么 今年 V R 又会 成为 一个 爆发 点?

这 是一个 很 有意思 的 事情。 就是 有些人 可能 会 觉得 V R 是个 新技术, 但 就像 我 刚才 说 一样, V R 一九七几年 就有 了。 我 觉得 V R 和 A I 这 两个 东西 都 属于 学术界, 每十年 就会 突然 想 起来 搞 一波 的 问题。 V R A R 和 A I 都 属于 那种 我们 知道 这 一定 是 未来, 但是 技术 它 往往 它 好像 就 实现 不了 这个 事情。

曲曲折折 的对 高峰 来说 就是 正好 好长时间 没人 研究 了, 然后 设备 的 运算 性能 和 各种 技术 都 成熟 了 一点。 就会 开始 有人 搞 一波 研究, 搞 一波 研究 就 会有 很多 进展, 很多 进展 之后 就 开始 大家 都 觉得 这 玩意儿 很 有用。 当然 你 做了 一波 研究 之后, 你 会 发现 它 又出现 硬件, 它 不能 做 更多 的 东西 了。 然后 这个 高峰会 慢慢的 从 学术界 传到 业界, 最后 传到 应用。 等于 说 比如说 前 几 波 的 A I 已经 给 人 带来 了 一些 好处, 可能 都 没有 这 一波 这么 大我 认为 A R V R 也是 类似 之前 几 波 带来 了 一些 东西, 比如说 什么 你 tando 之前 有 那个 什么 virtual boy, 虽然 根本 没有人 用, 但是 它 也 算是 之前 一波 A R 带来 的 一些 设备。

现在 至少 从 V R 角度 来讲, V R 完全 可以 替代 所有的 游戏 的 这个 对 吧? 这次 你 就 渲染 一个 屏幕 在 你 面前 玩游戏, 那就 没意思。 你 怎么能 设计 足够 好的 游戏 能够 体现出 V R 的 好处, 这 可能 是 它的 主要问题。

对我 觉得 现在 V R 的 进展 可能 是 能 提供 足够 高 的 分辨率 的 一 体积 是一个 大 的 进展。 因为 这 意味着 我们 不需要 再 连 手机 了, 它的 上手 使用 非常 的 轻便。 另一个 进展 可能 就是 在 静止 状态 下 解决 眩晕 问题 又是 一个 大 的 进展。 就 这 两个 进展 可能 是 这 一波 V R 能 诞生 出 一批 应用 跟 一批 游戏 的 原因。

我 认为 说 的 完全 没问题。 这 一波 B R 为什么 能够 有 一些 商业 上 的 动作? 就 说白了 就是 奥克拉 quest 做 的 非常 好。 奥克拉 quest 基本上 可以 认为是 十年 前 所有的 研究者 想 做出来 的 那个 东西, 但 他 根本 不可能 做得 出来。 它的 好处 包括 它是 一个 设备, 因为 几乎 所有 消费者 选择 去 买 好几个 设备 攒 在一起 让你能 用 的。 H T C Y 就是这样 的 设备。 你 需要 一个 电脑, 你 需要 一个 显示器, 你 还需要 安 好几个 东西 在 你 家里, 然后 你 才能 开始 用。 这个 就是 不会 在 这个 消费者 领域 限制 很大 的 波澜。

奥克拉 块 它是 一个 一体 的 机, 所以 你 只需要 买 一个 设备 就可以 实现 这些 功能。 而 另一方面 他 有着 过去 想做 B R 的 人 想 实现 的 一切 功能。 他的 头戴 显示器 是 六 自由度 追踪 的, 你 还有 两个 手, 两个 手 都是 六 自由度 追踪 的。 所以 能够 实现 这样 一个 完整 的 系统, 其实 一方面 就是 另一方面, how come 是不是 有 这样 一个 高通, 它 有 这样的 一个 标准设计。

因为我 看 pico new three 使用 的 方案 几乎 和 outlook quest 是 一模一样 的。 我 觉得 至少 硬件 上 outcome 是 有 这样 一个。 方案。 当然 软件 上 奥 克勒斯 也 花了 很大 功夫。 从 某种 来讲, oculus quest 以及 oculus quest 类似的, 比如说 什么 five fold 层 也是 这样 设备。 这 一系列 的 设备 都 向 市场 证明 了 这个 设备 硬件 是 成熟 的, 只需要 你们 去 开发 合适 的 软件。

我 认为 就是现在 这 一波 很 可能 还没有 完全 到 最合适 的 顶层。 因为我 还是 觉得 August quest 比较 类似 于 iphone 之前 的 智能手机, 它的 设备 都 在那 了。 我 还是 觉得 现在 最差 的 还是 交互 问题, 设计 V R 的 人 还没有 把 交互 做 的 足够 好, 以至于 人手 都 应该 有一套。 大家 脑子里 想说 我想 买 一个游戏 主机, 还是 第一个 想到 的 是 P S Y 和 x box one。 X 不光是 说 你的 这个 headset 的 这个 O S build 的 足够 好, 头戴式 显示器 里面 的 操作系统 做 的 足够 好。 它 还 包括 你 有没有 提供 足够 多 的 程序接口 去 做好 的 程序, 有没有 足够 多 的 样 例 程序。 比如说 你 在 手机 上, 为什么 大家 做 的 iphone 的 程序 都一样, 是因为 苹果 提供了 一套 开发者 套件, 这个 开发者 套件 开发 出来 的 程序 都 八九不离十, 都 符合 那些 最优 的 设计 元素。

但是 V R 还没有 一套 那么 成熟 的 交互 元素。 让 你存在 很多 这种。 比如说 我 听说过 有什么 传统 行业 的 做 游戏 的, 然后 做了 一套 玩游戏, 他 就 遇到 很多很多 很小 的 那种 让 你 不爽 的 点。 比如 就像 我 刚才 说 的, 你 移动 的 时候 会 晕, 或者说 如果不是你 一 上来 就是 为 V R 比赛, 你 可能 遇到 什么? 这 游戏 玩 的 没 啥意思, 就 感觉 像 在 控制器 上 按键 一样, 那就 没什么 意思。

对 吧? 它 不是 一个 为 V R 而 生的 游戏, 它 可能 就是 一个 电脑游戏 的 搬运。 它 其实 没有 什么 新的 点。

为什么 它 没有 新的 体验? 我 认为 还是 缺少 开发 套件 的 原因, 我 脑子 也没有 一个 合适 的 开发 套件, 谁 脑子 也没有。 但是 未来 可能 会有 一个 公司, 会有 一个人, 他 脑子里 想出 一个 非常 合适 的 开发 套件, 可以 提供 给 所有人。 让 别人 能够 像 开发 普通 的 游戏 一样 容易 的 开发 V R 的 游戏, 一样的 可以 容易 的 制作 出 高质量 的 V R 游戏。 这样 才能 让 这个 V R 完全 take。 我 认为 他 可能 会 在 未来 的 五年 内 实现 会有 这样 一个 设备 以及 这样的 一个 开发 条件。 他们 同时 作用 才能够 制造出 真正 V R 进入 每一个人 家里 这样 一个 情况。

之前 我 有 采访 过 一个 投资人, 他 最 开始 是 学 人工智能 的, 后来 他 其实 有 做 一段时间 的 技术, 后来 又 转 做 投资, 中间 断断续续 就 延续 了 有 大概 20年 的 时间。 他 就说 他 其实 还是 有 很多 同学 在 继续 去做 人工智能 的 研发, 念 到 博士, 然后 继续 去 念。 这个 中间 经历 了 很长 一段时间 的 行业 低谷期, 后来 就像 你说的, 就是 人工智能 又 爆发 了, 又 迎来 了 一个 行业 的 非常 顶峰 的 时候。 那个 时候 其实 像 google、 facebook 他们 都在 各 大 高校 高薪 聘请 这种 人工智能 方面 的 教授。 包括 教授 带 的 一个 实验室 的 学生, 可能 都 有一个 团队 挖过去 的。 我不知道 现在 在 比如说 像 vrar, 还有 人机交互 方向, 业界 对 学界 的 一个 态度 是 怎么样 的。 有没有 像 之前 人工智能 这样 存在 一个 高薪 挖 人 公司, 可能 都 开 到 上 百万美元 这样的 一个 水准。 就 不知道 有没有 这样的 事情。

我 觉得 可能 V R 和 A R 还在 这个 方面, 和 A R 和 A I 还是 有 一定 区别 的。 因为 A I 每个 公司 都有, 比如说 google、 facebook, 就是你 想不到 这个 公司 他 不用 A I 的, 所以 他 可能 需要 的 人 特别 多。

你说的 其实 是 互联网公司。

但 甚至 不是 互联网公司, 他 也 需要 一些 跟 A I 相关 的 东西。

他们 现在 不是 互联网公司 的 AI, 还 用 的 很 初级。 他 那个 其实 不需要 那么 前沿 的 技术, 它 不需要 跟 学界 产生 关系。 但是 你看 像 谷歌、 facebook 挖 人, 他们 要 的 是 业界 最 顶端 的 人, 他 要 知道 最新 的 动态 在哪里。 就是 其他 的 比如说 我 已经 研究 出来 一个 A I 方面 的 方向 了, 我只是 把 这个 方向 的 细节 在 特定 领域 把 它 应用 到 一个 具体 场景。 这个 其实 他们是 不用 特别 高薪 的 从学 接 来 挖 的。

没错。 但 其实 我想说 就是 A I 可能 大部分 互联网公司 都 可能 会 需要 这样 一个 技术。 V R 可能 主要 区别 还 在于 目前 来讲, 主要是 做 B R 显示器 的 公司 会 用到 B R 可能 少数 开发 B R 软件 的 公司 会 需要 V R 我 认为 很 可能 长期 来讲, V R 的 需求 会 变得 越来越大。 因为 当 每个 公司 都 需要 开发 V R A R 的 APP 的 时候, 当然 他们 不一定 立刻 就 需要 用到 最前沿 的 东西, 但是 他们 肯定 要 渗透 越来越多 前沿 东西 进 这个 A R V R 的 开发 过程中。 所以 未来 我 觉得 可能 会有 更大 的 需求。 但是 目前 来讲, 主要 还是 在 做 A R V R 的 公司 需要 A R V R。 比如说 现在 需要 最多 的 人 就是 facebook, facebook 这方面, 他 花 的 钱 特别 多, 他 挖走 了 好多 微软 的 人, 所以 微软 也 缺 一点 人, 但是 缺 的 稍微 少一点。 Ogle 再做 一点, 但是 做 的 也不 太多。 尤其是 我们 这 做 研究 的, 我 感觉 可能 facebook 需要 100个人, 微软 需要 20个人, google 只需要 十个 人, 大概 这个 感觉 就 是不是 像 A I 一样 那么 大范围。 当 A R V 会 更加 普及, 大家 都 需要 开发 A R V R APP 的 时候, 它的 需求 就会 变得 更大。

然后 另一个 角度 就是 学术界 来讲, 至少 在 人机交互 领域, A R V R 在 最近 两三年 都是 非常 火 的。 比如说 你 去 人机交互 的 紧急会议 里, 可能 得 有 至少 3分之1 的 论文 全都 是 关于 或者 至少 带 1点ARVR 元素 的。 因为 就像 我说 的 一样, A R V R 就 像是 十年 前 人们 想做 但 做不到 的 事情, 现在 做到 了, 所以 大家 都在 研究。 现在 这个 地方 可能 是 处于 那种 孕育 的 阶段, 就是 很快 就会 由 这个 人机交互 这些 研究 出来 的 一个 前沿 的 知识。 会 有人 把 它 组合 在一起 做 一个 系统, 然后 实际 做成 一个 能 用 的 东西, 它 包含 了 很多很多 例 交互 的 论文 所 含有 的 知识, 最终 可以 把 它 推 到 一个 产品 里。

所以 从 你的 角度 你是 能 感觉到, 现在 在 各种 学术会议 上, 大家 对 V R A R 的 讨论 越来越 多了, 而且 对 它的 新型 的 交互方式 讨论 的 也 越来越 多了。 这个 现象 是 从什么时候开始 出现 的?

我 估摸着 大概, 但是 从 15年 到 现在, 就是 每年 都 比去年 多 很多, 甚至 是一个 类似 指数 增长 的 这样 一个 趋势。 在 学术界 中 研究 A R B R 的 论文 书 OK.

这 挺 有意思 的。 你 刚刚 提到 了 像 斯坦福, 它 有 几个 就是 跟 V R 可能 相关 的 一个 实验室。 其中 你 提到 了 有一个 是 虚拟 人机交互 的 实验室。 我看 了 一下, 它是 属于 斯坦福大学 传播 系 的, 它 其实 是一个 社科 领域 的 学术研究, 像 苹果、 facebook, 他们的 人 还 经常 会 来 造访 这个 实验室, 大概 也会 去 问 一些 问题, 大概 想知道 竞争对手 的 动向。 大家 有没有 跟 斯坦福 的 这个 实验室 合作? 在 你们 计算机系 里 会有 大公司 会 频繁 的, 比如说 跟 你们 计算机系 有 一些 互动, 或者 挖 人, 或者 过来 探访 竞争对手 消息 的 事情 吗?

我 感觉 什么 情况下 他 会 特别 想 骂人, 就 跟 产品 直接 相关。 他 会 特别 想 骂人 是 营销部 这种 东西, 它 不会 跟 产品 直接 相关, 它 会 潜移默化 的 影响 现在 的 产品。 因为 人力 交互 这个 问题, 它 必然 和 别的 有 一定 区别。 它 不是说 我没有 它 做 不 出来, 只是 你 没有 它, 你 做出来 的 东西 没有人 要。 但是 往往 大家 都是 后知后觉 的, 就 往往 是 市场 告诉 他们 不, 然后 他们 才会 开发新 的 产品。 他们 开发新 产品 的 时候, 可能 会 借鉴 人 交互 上 的 一些 东西。 但是 他 可能 不是 一个 硬 需求。 他 不是 一个 说 他 没有 这个 他 就 不能 发布, 他 只是 发布 了 之后 他 并 不好 用。

我 感觉 很少 有 会 挖 人机交互 领域 教授 的, 一般 情况下 会有 合作。 比如说 业界 会 给钱, 我们 做 一些 他 指定 类型 的 研究, 还有 他 经常 找人 交互 领域 的 教授 做 顾问。 我 老板 就 比如说 应该 在 google 做 过 顾问, 在 H B 也 做 过 顾问, 我不知道 他 现在 在哪 做 顾问。 顾问 也就是 类似, 他 会给 这个 公司 一些 关于 比如说 前沿 的 一些 人机交互 的 最新 的 动向 的 这种 信息。

知道 学界 的 前沿 方向。

对对对, 而 这 可能 就是 一个 潜移默化 影响 业界 的 方式。 同时 业界 本身 也 在 做 研究, 我 这个 方向 A I 也 一样, 业界 也有 很多人 在 做 A R V R 研究。 大部分 研究 其实 都是 这样, 出 论文 会议 上 最多 就能 有 那么 5% 的 论文 是真的 跟 产品 有关系 的。

是的, 最终 能 应用 的 可能 也就是 那么 一点点。

对, 但 很多 都是 潜移默化 的。 比如说 你 如果 用 传送, 它 就 不会 晕, 对 吧? 这 可能 是 五年 前 有的 这个 论文 中 提到 的, 但是 现在 就 已经 变成 了 一个 大家 都 知道 的 知识 了。 所以 如果 没有 那个 论文, 就 可能 就 不会 有 这个 知识, 就 没有人 会 意识到, 我应该 用 传送 这个 方式, 可能 也 不会 有一个人 高薪 聘请 研究 传送 技术 的 原因。 因为他 研究 完了, 发 了 个 论文, 这个 事情 大家 就 都 知道 到了, 好像 也 不需要 把 这个人 非 挖过来。

所以 重点 作用 是 他在 当时 提供了 一种 新的 想象力。

一般 的 交互方式 就是我 现在 作为 一个 公司, 无限 研究 一些 V R 的 移动 的 方式。 我 就 会给 你 钱, 让 你 研究 这方面 的 东西。 我 可能 给 了 五个 实验室 钱, 然后 这 5个APP 里 每个 实验室 都 知道 了 一点点 小 信息, 然后 他们 可能 综合 一下, 大概 就 知道 什么 情况 了。 但是 这些 信息 一般 全部都是 公开的 知识, 也 不是 什么 只有 你知道 别人 不知道 的。

因为 给 学界 的 研究 赞助, 好像 最终 你们 都 又会 以 科研 论文 的 形式 发表 出来。 一旦 发表 了, 它 其实 就是 一个 公开的 知识库。 只能 说 他 给你们 赞助 了, 能够 让 他们 对 这个 公开的 知识 一直 在 保持 一个 敏锐度。 就是说 我的 钱 毕竟 投 在 这儿 了, 我会 多 关注 一下。

基本上 给 学校 的 钱 最多。 有的 钱 是 说 我给你 钱 了, 你 做出来 的 东西 所有的 专利 必须 要 同时 也 给他 一份, 不 排 他的 授权。 其实我 都 没 遇到 过 这样的 钱, 我 基本上 遇到 过 的 都是 对你 没什么 限制, 只是 你 要 告诉我 你 做了 什么 这样的 你 尤其 说白了 这些 人 不 赞助 这个 领域 发展 就 慢 呗。 像 facebook 这样的 公司, 他 自己 有 这么 多 钱 花 在 V R 上面 了, 他 需要 V R 这个 领域 发展 的 很快。 所以 他 会给 很多 做 A R V R 相关 的 项目 一些 钱, 让 这个 领域 的 学术界 发展 的 快一点。

像 你们 实验室 是 有 收到 过 facebook 像 V R 这 一方面 的 赞助 的 钱 的。

目前 应该 没有。 因为 我们 先 这样, 我 刚才 说 一下, 不是 光 搞 A R B, 现在 主要 好像 都是 N S F 的 钱, 这种 钱 比较 容易 拿。

N S F 是什么?

国家 科学, 什么 基金委 之类 的, 就是 美国。

的那 但 他们 也是 只看 科研成果, 不 要求 什么 专利 之类 的对。

N S F 是 完全 不要 用 的。

好的, 我 觉得 今天 聊 的 特别 开心, 我们 也 做了 很多 关于 vrar 前沿 方向 的 探讨。 好, 谢谢 jacky。

好, 多谢。

这就是 我们 今天 的 节目。 如果 大家 对 我们的 节目 感兴趣, 可以在 苹果、 小宇宙、 喜马拉雅、 蜻蜓 F M 等 音频 客户端 来 收听 订阅 我们。 美国 的 用户 也可以 在 苹果 google podcast、 spotify 等 音频 客户端 来 订阅 我们。 大家 给我 写 的 每 一条 评论 我 都会 认真 的 看, 所以 欢迎 大家 给 我们 评论 留言, 感谢您 的 收听。