立体式VR视频捕捉技术的众多原因之一：与实时渲染的VR游戏

去年年底之后，我们开始使用立体视频捕捉功能，可以捕捉VR视频中行走的内容。

360 度视频固有的局限性

目前，360度视频和3D拍摄是最具沉浸感的VR视频产品。 正确拍摄的 360 度 3D 视频内容可以在 VR 中表现良好（查看 Felix & Paul 的一些作品）。 但假设我们有一天能够实现视网膜质量的分辨率和完美的立体视觉，那么 360 度 3D 视频内容根本无法解决一个障碍：视频体验中的运动。

如今，对于任何 360 度视频（3D 或其他），您的视野基本上都被锁定在一个有利位置。 与实时渲染的 VR 游戏不同，你无法在视频中移动 - 更不用说只是躺在椅子上并期望场景相应移动。 不仅缺乏沉浸感，而且不舒服； 我们必须在坐着不动的情况下不断移动头部； 当虚拟视图跟不上运动时，就会缺乏真实感，让人更加不舒服。

立体VR视频捕捉

这是研究立体视频捕捉技术的众多原因之一。 这个想法不仅是捕获 360 度图像并将它们串在一起（就像使用传统的 360 度相机一样），而是捕获每一帧场景的立体数据，以便在回放时，该信息允许用户在其中移动视频。

在 CES 2017 上，我看到了使用 Stand 拍摄的原始预告片视频，以及与英特尔合作打造的全新、更生动的体验。

通过 Rift 耳机，我走进了这个新场景：越南风景如画的山谷。 我站在湖中央一座小岛上的一块岩石上。 岩石之外，岛上覆盖着茂密的野草，离我不远的地方有水牛和农民。

该场景还包括雨林树叶和流入湖中的瀑布。 温柔的波浪穿过水面，拍打着岛的边缘，河边的水草微微颤抖。

视频内容非常生动——比我用其他耳机看到的 360 度 3D 视频更生动，主要是因为我能够在视频内移动（具有正确的视差、正确的范围）。 这让我感觉自己就像在越南，而不仅仅是眼睛里流淌着满足的光芒。 这道菜就是我们想要VR视频时所体验到的。 这将使媒体在未来真正具有吸引力。

今天，我获得了一些令人印象深刻的 VR 拍摄体验，但摄影测量需要有人花几个小时构建场景，从每个可以想象的角度捕捉它，然后将所有照片编译成模型。 结果可能是耗时且费力的，但仍然无法捕获移动对象，因为您无法足够快地捕获整个场景来记录移动对象。

该方法的不同之处在于，他们的支架固定在场景中，并结合使用高质量视频捕捉和深度映射 LiDAR 每秒捕捉内容 60 次。 然后，视频中的纹理数据与深度数据融合，每秒创建 60 个“立体”场景帧。 这意味着您可以看到波浪移动或汽车行驶，但仍保留体积数据，使用户能够捕获运动的某些部分。

该场景还包括雨林树叶和流入湖中的瀑布。 温柔的波浪穿过水面，拍打着岛的边缘，河边的水草微微颤抖。

视频内容非常生动——比我用其他耳机看到的 360 度 3D 视频更生动，主要是因为我能够在视频内移动（具有正确的视差、正确的范围）。 这让我感觉自己就像在越南，而不仅仅是眼睛里流淌着满足的光芒。 这道菜就是我们想要VR视频时所体验到的。 这将使媒体在未来真正具有吸引力。

今天，我获得了一些令人印象深刻的 VR 拍摄体验，但摄影测量需要有人花几个小时构建场景，从每个可以想象的角度捕捉它，然后将所有照片编译成模型。 结果可能是耗时且费力的，但仍然无法捕获移动对象，因为您无法足够快地捕获整个场景来记录移动对象。

该方法的不同之处在于，他们的支架固定在场景中，并结合使用高质量视频捕捉和深度映射 LiDAR 每秒捕捉内容 60 次。 然后，视频中的纹理数据与深度数据融合，每秒创建 60 个“立体”场景帧。 这意味着您可以看到波浪移动或汽车行驶，但仍保留体积数据，使用户能够捕获运动的某些部分。

在立体视频捕捉的情况下，“帧”实际上是场景的实时渲染的 3D 模型，可以连续回放。 它不仅允许观看者在空间中移动（就像在 VR 游戏环境中一样），而且还解释了为什么体验看起来如此身临其境 - 为 VR 耳机显示器渲染的每一帧都是通过捕获可操作的数据并从其中查看而创建的每个角度。 修复 3D。 这种方法还意味着不存在异地捕捉问题（正如我们在 360 度摄像机镜头中经常看到的那样）。

克服限制

今天呈现的内容正是 VR 视频真正应有的样子，但在制作出观众想要的电影 VR 内容之前，还需要解决一些制作和发行方面的限制。

3D 着色和平移

你可以把它想象成一个正常的阴影：当一个物体从你身边经过并被前面的光照亮时，阴影会出现在该物体的后面，因为光线无法穿过它。 阴影的位置取决于光线和物体的位置。

由于激光雷达用于捕获场景的深度（激光从物体上反射以确定距离），因此物体会阻挡激光并投射“体积阴影”。 除了黑暗区域之外，这些体积阴影还会在其后面的几何体中留下孔洞，因为相机无法看到物体后面（就像光线无法照射到物体后面一样）。

如果您停留在精确的捕获点，这根本不重要，因为您永远不会看到捕获对象后面的体积阴影。 然而，由于用户可以在空间内移动，他们可能能够看到这些物体的后面，从而看到三维阴影。

我所看到的没有体积阴影，这意味着该公司已经找到了一种有效的方法（对于这些特定的内容）。

最简单的方法是手动固定几何体以填补后期制作中的空白。 这可能相对简单（也许一个人离相机不远），也可能非常困难（将相机放在茂密的森林中间，附近的树木和植物在场景上投射体积阴影）。

另一种方法是在捕获后将 3D 模型（可以通过摄影测量从现实世界中捕获）插入到空间中，这样一开始就不存在暗影。 这很容易，因为整个场景已经渲染为 3D 几何体，很像视频游戏环境，因此插入更多 3D 对象相对容易。

最后，立体视频捕捉未来的发展方向是实时场景捕捉与 CGI 模型的无缝结合（类似于我们今天在大片制作中看到的）。

移动拍摄架会使事情变得更加复杂，因为它会导致体积阴影在场景中平移。 告诉我他们还没有拍摄移动摄像头测试来了解该技术如何处理平移。 如果事实证明在拍摄时支架无法移动，那么测试结果可能并不重要，这取决于移动相机对于 VR 电影制作的重要性； 目前，许多 360 度视频内容是使用静态摄像机拍摄的。

下载大小和数据处理

拍摄设备使用 14 台 RED 摄像机，以 6k 和 60 FPS 拍摄。 LiDAR 数据也会每帧捕获。 处理和重建所有数据以达到最终形式需要花费大量时间（目前每帧大约需要 6 分钟）。 正确渲染后，体验从网络到达用户，但每 30 秒捕获 2GB 将很困难。 每 30 秒 2GB 的视频实际上是一个巨大的进步。

制作立体捕捉技术，例如。 更快的消费者网络连接也可能使这种 VR 视频流发挥关键作用，因此它可以立即启动，而无需等待巨大的下载。

立体视频捕捉肯定存在需要解决的挑战，但这对于任何新的电影制作技术来说都是正常的。 事实证明，实现每个人都想要的引人注目的实时 VR 视频是可能的，同时还能减轻或消除限制。 在日益复杂的产品中使用该技术将需要开发新技术，以实现现实的生产时间和无缝的最终产品，但如果公司的演示场景有任何迹象的话，结果将需要我们的努力。

昨天的新闻回顾

我们致力于服务VR/AR爱好者、从业者和开发者，传播前沿资讯。