拓墣产业研究所:IC设计对VR发展重要性极高

 中国电子报、电子信息产业网  作者:拓墣产业研究所半导体中心研究员 陈颖书
发布时间:2016-09-30
放大缩小

  在VR发展进程中,IC芯片的设计重要性极高。由于需要处理复杂的图像运算,所以GPU十分关键;而在头戴式显示器无线化的发展上,802.11ad技术极有潜力;此外,定位传感器和动作传感器也是VR应用的重点。

  计算能力要求高 GPU是关键

  目前,虚拟现实(Virtual Reality,VR)备受瞩目,成为厂商聚焦的新兴领域之一。VR会运用到的零组件十分广泛,除了CPU和GPU外,各种传感器也是重要组件。根据拓墣产业研究所(TRI)预测,2016年穿戴式设备总量将达1.12亿台,其中约1400万台为VR装置;2018年预计VR装置可增长到2200万台。

  对硬件厂商而言,VR装置最重要的参数就是显示器分辨率和刷新率,分辨率决定影像画面的细节度,而刷新率则决定用户在使用VR装置时的舒适程度。

  由于VR需要让用户拥有不同视角的拟真感受,在图像运算和处理上要求极高,因此在其内部的众多零组件中,GPU最为关键。值得说明的是,对头戴式VR而言,主要的图像运算由后端计算机完成,所以这里的GPU指的是计算机里的显示适配器,而戴在使用者头上的头戴式显示器内部,则以装配MCU和各类传感器为主。

  整体而言,GPU的核心频率、内存频率、像素填充率、材质填充率、浮点运算能力与光栅处理单元皆为重要的性能判断指标,可以决定画面是否流畅运行和使用者的互动体验是否良好。高效能的核心频率和内存频率让GPU运算更为快速,光栅处理单元是将3D立体图形化为2D平面像素,而浮点运算能力则是决定物理运算能力,比如爆炸碎片的行进方式和角色衣服受风吹动的飘动方式等,皆属物理运算的范围。归纳VR在图形处理时所需技术,可分为实时渲染和场景管控两部分,其中实时渲染仰赖GPU运算能力,而上述如核心频率和内存频率等,皆会影响运算性能优劣,场景管控则牵涉较多的软件算法,依靠CPU程度较高。

  GPU技术因为门槛高,在独立显卡领域全球目前仅有两家大厂NVIDIA和AMD从事开发;而在移动设备领域内,如Qualcomm和联发科等应用处理器(AP)厂商,皆已将GPU整合进自家SoC中;此外,NVIDIA和AMD都在开发以GPU运算“场景管控”,未来极有机会大幅减轻CPU的运算量。

  要想避免画面延迟,GPU的运算能力变得十分关键。除硬件规格外,GPU架构更为重要;在软件支持上如Frame Queuing、Timewarp与Asynchronous Timewarp等,同样也很必要。一般而言,从使用者转动头部开始算起,直至图形计算完成,传回头戴式显示器的屏幕中,此时间延迟需低于20ms,才可有效避免晕眩。

  从有线到无线:802.11ad的应用

  在游戏VR系统中,头戴式显示器以有线方式连接至后端计算机,而把手(或手套)连至计算机的方式则为无线设计,可使用Wi-Fi(如802.11ac)或蓝牙技术。虽说现阶段许多游戏内容无需大动作摆动头部,游戏场所也不足以让使用者跑跳起来,显示器看似没有无线连结的需求,但其实在技术和成本效益许可之后,未来无线显示器势必会成为用户的选择,因为这种方式使用更为轻松方便,且不必担心一不留神,便扯到后部的计算机。

  以1080×1200分辨率和刷新率90Hz的画面为例,传输所需带宽约为2.6Gbps,以一般压缩率为4%~10%计算,压缩后每秒所需带宽为104~260Mbps,对802.11ac(运作于2.4GHz或5GHz)或802.11ad(运作于60GHz)技术来说,皆在可传输范围内,亦即头戴式显示器无线化将成为可行方案。

  虽说802.11ac Wi-Fi通信技术在良好无干扰的环境下传输速度约可达300Mbps,但此为理想状态速度,尚未考虑频段拥挤和信号干扰等问题,况且若分辨率和刷新率再提升一些,802.11ac的带宽便会不足。而对802.11ad技术来说,目前传输速度距理论值7Gbps还十分遥远,但在不同调变机制下,已可达1G~2Gbps传输速度。

  因此,头戴式显示器无线化的实现仰赖802.11ad技术的可行性较高。大体而言,802.11ad技术作为无线头戴式显示器的解决方案仍处于研发阶段,即便其带宽大小足够,但在时间上还是会有约100ms延迟,无法达到VR要求。其中,美国芯片商Nitero宣布已和硬件厂伙伴进行合作,将在2016年下半年推出相关的60GHz无线VR产品,届时值得关注其延迟是否可被使用者接受。

  若数据和画面等可通过无线通信传输,电力需求则成为另一考虑因素。目前WiGig解决方案的功耗仅0.6~0.8W,以3.5V锂电池来计算,电流约为0.2A左右,可令一般3~3.5Ah的手机电池使用15~17.5小时,负担并不大。

  802.11ad技术正开始进入市场,投入的芯片厂以Qualcomm、Intel与SiBEAM为主;CES 2016上,联想的ThinkPad X1 Carbon和宏碁的P648 NB也宣称可支持802.11ad,至于VR上的应用,预计还需1~2年后才会逐渐增多。

  感测需求强 软硬件要搭配

  在VR装置中,传感器用于侦测各项信息,如定位、测距与使用者的移动摆手等,是一种重要的组件。

  1.定位感测与动作感测是VR重点。

  大体而言,VR装置内所需感测的行动大体可以分为两类,分别是定位感测和动作感测。定位感测的传感器多以光传感器为主,代表装置即为Microsoft Xbox 360的Kinect;在动作感测方面,最常使用的组件为动作传感器,动作传感器主要指为人熟知的加速度计、陀螺仪与磁力计等,加速度计可用以判别较大的动作,陀螺仪可判断较细微的动作,而磁力计则用以判别方向。

  在定位方面,Oculus Rift VR以头戴式显示器内的数十颗红外光LED配合一红外光CMOS摄影机来达成定位功能,利用CMOS摄影机侦测红外光点的变化,进而计算头部相对位置。HTC则是以Lighthouse定位技术,利用高密度红外光激光的发射和接收,侦测出使用者的部分动作变化和位置;其中,2个直立式基站以60次/秒的频率发射红外光光线,低于画面的刷新率。

  动作传感器用以侦测用户动态行为,在灵敏度上较光传感器更高。对游戏VR来说,由于后端计算机需从把手(或手套)上取得更多用户动作信息进行算法计算和分析。一般而言,在把手(或手套)内所需的动作传感器较头戴式显示器更多。实际在搭载传感器的数量上,各家并不一致。

  此外,游戏VR的传感器需求以加速度计和陀螺仪为主,通常会使用6轴传感器来实现,供货厂商为STMicroelectronics、Invensas与Bosch等大厂。值得一提的是,传感器的具体配置取决于应用场域,例如在需判别方位的应用中,磁力计便不可或缺,而设计有户外使用情景的VR装置,便需添加环境传感器。

  2.感测信息搜集需与软件相互搭配。

  当后端计算机搜集到传感器所侦测的感测信息后,需以算法进行用户意向侦测,运算、分析与判断所获得的数据,再将其运算结果回传至头戴式显示器的显示面板上。在游戏VR中,算法的主要实现方式以配合使用Unity和Unreal等引擎呈现。

  理论上,搜集越多感测信息越能判断出准确的结果,但在实际操作上,软件端需处理感测信息相互冲突的情况,因此过多数据反而有弊无利。如何决定传感器的数量多寡,使其与软件相互进行优化配合,成为VR发展进程中十分重要的方向。


来源:中国电子报、电子信息产业网            责任编辑:陈炳欣
分享到:
0