AR/VR

Oculus揭秘Touch控制器追踪技术:LED 匹配

作者:来源:映维网发布时间:2019-11-08 13:32我要评论

日前,负责AR/VR设备输入追踪的Facebook工程经理安德鲁·梅利姆(Andrew Melim)撰文讲解了他们在最近版本更新中所采用的最新LED匹配方案。

从二维blob到三维姿态

摄影测量中存在一个经典问题:Perspective-n-Point(PnP),亦即在给定图像及其里面的已知3D点的情况下识别camera姿态。我们要解决的问题是确保控制器追踪工作正常进行,而与PnP问题相反的是,我们已经能够很好地估算出头显camera姿态,但我们希望找到具有已知3D点(LED)的控制器姿态。

一旦检测到摄像头成像中的每个红外LED,我们需要解决的困难是确定从每个blob到控制器特定LED的映射。我们利用LED位置及其到blob的映射来确定控制器的位置和方向。由于我们仅使用头显数据来执行跟踪,所以我们必须高效地执行这一过程的每个部分。

计算机视觉中的Blob是指图像中的一块连通区域,Blob分析就是对前景/背景分离后的二值图像,进行连通域提取和标记。标记完成的每一个Blob都代表一个前景目标,然后就可以计算Blob的一些相关特征,如:面积、质心、外接矩形等几何特征。同时可以计算Blob的颜色、纹理特征,而它们都可以作为追踪的依据。基于Blob的追踪属于基于区域的追踪。

在将blob与LED匹配的过程中,我们围绕可能正确的潜在匹配生成一组假设。为了计算出准确的姿态,我们需要最少的匹配项。我们的算法能够根据我们处理的各种变量来从概率方面确定最可能的正确匹配。不正确的映射会纳入直接导致姿态估计不准确的错误,所以我们需要在每帧中获得足够的准确匹配。

用多视图来优化匹配

为了解决LED匹配问题,我们实现了在每帧上运行的多种方法。但广义上讲,它们分为两个主要类别。第一是穷举方法,亦即强制应用解决方案,而我们通俗地将其称为“暴力匹配”。当没有关于控制器位置和方向的先验信息时,我们就会使用这些方法。当从前一个摄像头图像中获得控制器的姿态时,我们就可以在更小的窗口内进行搜索,而我们将其称为“接近匹配”。

在一开始,管道一次搜索一个camera中的blob。这要求假设生成blob和验证blob都在同一个camera中,亦即意味着一个camera中至少要检测到4个blob才能成功匹配。另外,它非常有可能导致多个camera之间产生矛盾匹配结果。为了解决这个问题,我们开发了全新的匹配管道:在评估不同camera中的LED-blob对应关系时,它将利用立体摄像头校准数据。这使我们能够依靠每个摄像头之间的关系来帮助解决不确定性。

这个方法改善了单个camera缺乏足够匹配,但当所有camera图像组合在一起时就具有足够匹配的场景。最严重的情况是控制器靠近视场边缘,太远、太近或存在遮挡。

由于匹配结果是整体评估,而非根据单个camera评估,所以这同时排除了匹配结果不一致的可能性。这有助于扩大控制器的追踪量,并减少因为过于靠近头显或视场边缘而造成的追踪损耗,从而实现了更为流畅的追踪体验。

用更少的数据进行计算

从理论上讲,仅给定一个camera图像,你至少需要看到三个LED才能解析控制器的姿态。但是,仅利用三个点会产生多种可能的解决方案,所以我们需要至少四个正确的匹配才能稳健地解析姿态。

摄像头一次只能看到3个,2个,或者甚至1个LED是相当普遍的情况,所以我们设计了一个可以使用其他信息并支持较少LED的求解器。反过来,它包括以下的全新求解器,并使得我们能够追踪那些特别具有挑战性的方向:

P2P pose solver

  • 使用2个匹配项和先前的姿态方向信息来解析姿态的位置component。

  • 将最小匹配要求减少到3个(2个假设生成匹配和1个验证匹配)。

P1P pose solver

  • 使用预测姿态直接验证匹配,而非通过统计或最接近预测进行验证。

  • 将最小匹配要求减少到2个(为了立体姿态优化,确保适当地限制平移和缩放)

  • 在少于4个LED的情况下,使用仅位置的立体姿态优化。

经过大量的实验,我们发现P2P求解器和P1P求解器都需要非常准确的先验信息(良好的追踪状态和准确的预测),因为它们依赖于预测姿态来作为解决问题的严格约束。

但在“粗暴匹配”中,先验信息不太可靠,所以我们注意到诸如错配控制器或错配光管之类的问题。这促使我们开发了稳健的状态机,它允许我们能够在各种求解器之间进行转换,从而确保我们使用正确的方法来处理Quest和RiftS每天遇到的各种困难动作。

尽管这些改进极大地帮助了我们,但我们在改善整体体验方面还有更多的提升空间。


责任编辑:齐旭
相关链接

2019世界VR产业大会

10月19日,由工业和信息化部和江西省人民政府联合主办的2019世界VR产业大会在南昌隆重开幕。开幕式上,中共中央政治局委员、国务院副总理刘鹤发表重要讲话。

第二届全球IC企业家大会暨第十七届中国国际半导体博览会

9月3日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办的第二届全球IC企业家大会暨第十七届中国国际半导体博览会在上海开幕

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

数字经济前沿论坛-CITE2018第六届中国电...

为贯彻落实党的十九大精神,充分展示新一代信息技术产业最新发展成就,促进产业核心技术突破,加快形成数字经济新动能,引领信息技术产业供给侧改革,工业和信息化部、深圳市人民政府将于2018年4月9日-11日在深圳市共 ...

2019上半年中国家电市场报告发布

7月29日,中国电子信息产业发展研究院在北京发布了《2019上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年1月-6月,我国家电行业运行稳定、稳中有进,产销均高于去年同期。其中,...

壮丽70年 奋斗新时代

70年来,中国共产党人从未停下“赶考”脚步。神州大地上,一幅幅壮丽的发展画卷在描绘,一部部感天动地的奋斗史诗在书写。...

2019打造制造业“双创”升级版

围绕制造业“双创”升级的内涵本质、发展趋势、实践启示等方面,邀请政府部门及事业单位领导、两院院士及专家学者、重点地区及企业领导等撰写相关文章,共同探讨制造业“双创”发展新路径。...

聚焦2019全国两会

3月3日电 凝聚共识谱写时代华章,共商国是同绘复兴宏图。中国人民政治协商会议第十三届全国委员会第二次会议3日下午在人民大会堂开幕。...

MWC2019世界移动大会报道

MWC,世界移动通信大会。主办方全球移动通信系统协会(GSMA)成立于1987年,是世界移动通信界的三大国际组织之一,目前其成员已包括来自220个国家的近800家移动运营商以及230多家更为广泛的移动...

CEN视频新闻 | 2019 CITE 瑞萨电子高级副总裁

第七届电子信息博览会上,瑞萨电子高级副总裁 真冈朋光接受《中国电子报》记者采访。...

视频新闻丨院士专家畅谈智能网联汽车

3月19日,慕尼黑上海电子展前夕,新能源与智能网联汽车创新发展论坛在上海举办,论坛邀请了30多为海内外行业人士,近35场精彩发言,围绕新能源和智能网联两大领域展...

两会专访丨全国政协委员、新大陆科技集团总裁王晶

2019年全国“两会”期间,全国政协委员、新大陆集团总裁王晶在接受《中国电子报》记者采访时表示:传统农村需要发挥信息技术和互联网的载体和引擎作用,促进农业生产、...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO