工业和信息化部主管 中国电子报社主办
收藏本站投稿

AR/VR

Oculus基于英伟达光流SDK推出立体透视Passthrough+

Oculus正致力于为消费者增强现实与消费者虚拟现实铺平道路,并且定义所需的组件,从而帮助开发者和用户在VR中获得最为愉快,最为身临其境的体验。今天Oculus介绍了最近发布的技术:基于英伟达图灵Optical Flow SDK的Passthrough+。

1. Passthrough+

Passthrough +是Oculus Rift S中的一项全新功能,它能够以正确的立体透视模式在虚拟世界提供前置摄像头视图。传统的VR透视视图质量有限,这是因为摄像头往往不是位于玩家的眼前。这是技术方面的限制,而且将摄像头设置于用户眼前是不切实际的方案。但我们可以接近这一点。Passthrough +是投影摄像头视图的最先进方法,令画面看起来就像是摄像头成为了用户的双眼。这项功能可以减少深度差异并提高舒适度。尽管摄像头的帧速率较低,但画面感觉自然,而且帧率正常。这因为在比较从不同视角同时拍摄的两个帧时,Oculus的系统可以恢复视差信息。借助基于像素测量所获取的差异信息,再结合摄像头位置,Oculus可以从图像中推断出实际的距离值。通过利用异步空间扭曲技术,Passthrough +可以实时地进行差异估计。

2. 异步空间扭曲2.0

Oculus最近发布了异步空间扭曲2.0。自2016年发布1.0版本以来,它已然成为VR二次投影的行业标准。ASW能够降低用户设备的性能要求和开发者的优化要求。它可以通过光流来推断场景内的运动,并实现进一步的外推。

这意味着应用程序不再受限于VR显示屏的帧率,系统可以开始合成中间帧并予以补充。下面是《Lucky’s Tale》的示例,其中场景应用了运动矢量。

光流这种计算机视觉技术主要用于识别帧到帧的变化。这可以是电影,其中系统追踪运动以跟随对象或整个场景。这同时可以是通过不同摄像头拍摄的两张图像。在更基本的层面上,这种图块匹配和追踪是现代视频编码的核心组件。你可以将光流类比成视频编码中的基于图块匹配的运动估计,但两者的目标不尽相同。在视频编码中,图块匹配的目标不是在场景中寻找运动(尽管这是一个有趣的意外结果)。对于视频编码,其目标是定位类似的图案,并利用相关性进行压缩。换句话说,视频编码器将寻找能够为最精简的数据流产生最佳输出的最佳结果。尽管这通常是场景的流动,但没有任何任何保证,或者说原本就不是为了这个目标。光流涉及在场景中寻找对象的更自然运动。对于压缩,它将是非常次优的目标,只要对象本身能够整体移动,并且可以路径追踪它们的真实世界运动即可。

到目前为止,利用视频编码器一直是ASW的基础。将视频编码器用于ASW的主要优点是,它与GPU的图形渲染并行运行。这意味着当系统尝试生成合成帧时,渲染性能落后的应用程序不会受到负面影响。相反,应用程序可以拥有以前的所有资源,以及预测运动的能力。但主要缺点是合成帧中的预测不完全准确。

3. 光流

英伟达为估算场景中的光流开发了一种更快、更精确的SDK。这家公司于今年早些时候发布了他们的Optical Flow SDK,并用于取代NVENC视频编码器原来单纯的运动估算模式。英伟达的Optical Flow SDK可用于图灵显卡,能够将宏块分辨率提高四倍,优化运动矢量分辨率,并且通过强度变化实现对象跟随,同时强调光流而非压缩比。

结果是终点误差比传统的视频编码运动矢量平均少一半。定性结果同样令人印象深刻。通过ASW,系统可以更可靠地追踪近场对象。手电筒幻觉的出现频率更低,而增加的精度意味着可以更准确地追踪单个颗粒和对象的运动。

4. 基于差异的深度信息

对于Passthrough +,这意味着可以增加投影世界的立体分辨率,同时能够正确追踪和跟随对象。当面对低对比度或过度曝光的区域时,英伟达的Optical Flow仍然可以推断出有意义的视差值,在估计场景深度时防止视图漏洞或丢失数据。以下这个视频对比了视频编码器的运动矢量和英伟达的Optical Flow。插入的窗口是场景中的估计深度,较暗的区域是更后面的位置。你可以在深度缓冲区中看到Optical Flow的优势,其中深度近似值要更加精确。

5. 即将推出

尽管ASW和Passthrough +可以支持现有的最低规格和推荐规格硬件,但图灵硬件可以通过Optical Flow SDK提供最佳的运动估算。作为用户,你可以为Oculus运行时提供图灵硬件和最新的英伟达驱动程序之外。包含所述集成的Oculus运行时将于2019年6月的1.38版本中与大家见面。

6. 未来的工作

Oculus表示,这并非ASW和光流研究工作的结束。如上所述,光流不仅只可以追踪运动,同时能够说明场景的空间组成。我们可以利用光流获取大量的信息,而传统的视频编码器方法能够出色地做到所述的任何一点。Optical Flow SDK带来了大量的机遇和研究方向,而Oculus将继续进一步的探索挖掘。

责任编辑:张心怡


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

聚焦2021年全国两会

3月5日,第十三届全国人民代表大会第四次会议在北京人民大会堂开幕。党和国家领导人习近平、李克强、汪洋、王沪宁、赵乐际、韩正、王岐山等出席,栗战书主持大会。初春的北京,处处生机盎然。第十三届全国人民代表大会第四次会议5日上午在人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。

2021年全国工业和信息化工作会议

12月28-29日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中、五中全会精神,认真落实习近平总书记重要指示批示精神和中央经济工作会议部署,总结2020年工业和信息化工作,分析形势,部署2021年重点工作。工业和信息化部党组书记、部长肖亚庆作工作报告。

2020年中国家电市场报告

3月22日,中国电子信息产业发展研究院发布了《2020年中国家电市场报告》(以下简称《报告》)。《报告》显示,2020年,我国家电市场零售额规模达到8333亿元,在疫情冲击之下显示出较强的韧性;电商渠道对家电零售的贡献率首次超过50%,网络零售对家电消费的促进作用进一步提升;高端产品、生活家电大幅增长,有效促进了消费升级和产业转型。

世界超高清视频(4K/8K)产业发展大会

会议

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

2020世界超高清视频(4K/8K)产业发展大会

11月2日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2020世界超高清视频(4K/8K)产业发展大会在广州市召开。广东省委书记李希出席开幕式,省长马兴瑞出席并致辞。国家广播电视总局局长聂辰席、工业和信息化部副部长王志军、中央广播电视总台副台长蒋希伟出席开幕式并致辞。

2020世界VR产业大会云峰会

10月19日—20日,由工业和信息化部、江西省人民政府主办的2020世界VR产业大会云峰会在南昌举行。在10月19日的开幕式上,中共中央政治局委员、国务院副总理刘鹤发来书面致辞。江西省委常委、南昌市委书记吴晓军,工业和信息化部副部长王志军,江西省委书记、省人大常委会主任刘奇先后致辞。开幕式由江西省委副书记、省长易炼红主持。

世界显示产业大会

本周排行