工业和信息化部主管 中国电子报社主办
收藏本站投稿

设计

Qualcomm骁龙神经处理引擎助力,手机QQ“高能舞室”实现人工智能

近日,手机QQ正式推出“高能舞室”功能,该全新功能基于腾讯AI Lab计算机视觉中心独家支持的“肢体动作追踪”技术实现,并且结合了Qualcomm骁龙神经处理引擎(Snapdragon Neural Processing Engine,以下简称SNPE)SDK,将为年轻人社交提供更多个性化内容和用户体验。

手机QQ是国内备受年轻人欢迎、体量最大的移动互联网社交APP之一。2017年第三季度,QQ在智能移动终端的月活数量高达6.529亿。手机QQ“高能舞室”功能的实现是Qualcomm与腾讯在人工智能领域的首次合作,也是SNPE在中国互联网行业的首个成功应用。双方的合作实现了人工智能技术的入口轻量化,把人工智能支持的领先体验带到规模更大、更广泛的年轻用户群体中。

通过SNPE SDK,该功能可以直接运行手机上相应的人工智能神经网络,而无需在云端进行处理。具体来说,用户可以直接根据屏幕提示动作录制跳舞短视频,并通过QQ社交关系链分享互动舞蹈视频。Qualcomm SNPE为高能舞室提供了高性能和高能效的运行环境,将人体姿态估计识别的时间大大降低,用户可以享受更加流畅、有趣的舞蹈体验。

与在云端运行的人工智能相比,在终端侧运行人工智能算法具有诸多优势,如即时响应、可靠性提升、隐私保护增强,以及高效利用网络带宽等。为了让开发者和OEM厂商能更方便地在终端上利用异构计算,Qualcomm于2016年推出了SNPE,使OEM厂商以及应用开发者能在诸如智能手机、安全摄像头、汽车以及无人机等搭载骁龙的终端上运行它们自己的神经网络模型,且完全无须与云端相连,就能提供由深度学习驱动的体验,如风格转换与滤镜(增强现实应用)、情景探测、面部识别、自然语言理解、物体追踪与规避、手势和文本识别等。SNPE适用于骁龙600和800系列移动平台,可支持通用深度学习框架,如Caffe、Caffe2和Tensorflow,并提供对自定义层的支持。该SDK包括了运行时软件、库、API、离线模型转换工具、示例代码、文档,以及调试与基准测试工具。

除了手机QQ“高能舞室”之外,已有不少开发者利用SNPE支持移动人工智能应用的案例。例如,Facebook已宣布计划将SNPE集成到Facebook应用的相机功能中,以促进Caffe2支持的增强现实(AR)特性实现。相较于通过一般的CPU实现,Facebook可利用SNPE,基于Adreno GPU实现5倍的性能提升,从而在拍摄照片和直播视频时,实现更流畅、无缝且逼真的AR特性应用。

此外,数款搭载骁龙移动平台的移动终端也已通过SNPE实现了更先进的终端侧人工智能体验。例如,OPPO R11s中利用了商汤科技小型化的创新算法模型与SNPE的完美协作,充分发挥骁龙660移动平台GPU、DSP的运算能力,大幅提升了R11s上人工智能应用运行时的处理速度,同时降低功耗。以优化拍照体验为例,在非联网状态下,用户可以为照片实时增加人像模式和背景虚化等效果。同样,得益于骁龙835移动平台中所支持的SNPE,一加5T可智能匹配人脸的128个特征,在短短0.4秒内完成面部扫描并进行人脸识别,帮助用户方便、迅速地解锁手机。

Qualcomm于今年12月初刚刚推出的骁龙845是Qualcomm的第三代人工智能移动平台。与前代系统级芯片(SoC)相比,骁龙845带来了近三倍的人工智能整体性能提升。其中的SNPE SDK除了已支持Google TensorFlow和Facebook Caffe / Caffe2框架之外,还增添了对Tensorflow Lite和新的ONNX的支持,可帮助开发者轻松使用他们所选择的框架,包括Caffe2、CNTK和MxNet。

责任编辑:赵晨


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

聚焦2021年全国两会

3月5日,第十三届全国人民代表大会第四次会议在北京人民大会堂开幕。党和国家领导人习近平、李克强、汪洋、王沪宁、赵乐际、韩正、王岐山等出席,栗战书主持大会。初春的北京,处处生机盎然。第十三届全国人民代表大会第四次会议5日上午在人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。

2021年全国工业和信息化工作会议

12月28-29日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中、五中全会精神,认真落实习近平总书记重要指示批示精神和中央经济工作会议部署,总结2020年工业和信息化工作,分析形势,部署2021年重点工作。工业和信息化部党组书记、部长肖亚庆作工作报告。

2020年中国家电市场报告

3月22日,中国电子信息产业发展研究院发布了《2020年中国家电市场报告》(以下简称《报告》)。《报告》显示,2020年,我国家电市场零售额规模达到8333亿元,在疫情冲击之下显示出较强的韧性;电商渠道对家电零售的贡献率首次超过50%,网络零售对家电消费的促进作用进一步提升;高端产品、生活家电大幅增长,有效促进了消费升级和产业转型。

世界超高清视频(4K/8K)产业发展大会

会议

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

2020世界超高清视频(4K/8K)产业发展大会

11月2日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2020世界超高清视频(4K/8K)产业发展大会在广州市召开。广东省委书记李希出席开幕式,省长马兴瑞出席并致辞。国家广播电视总局局长聂辰席、工业和信息化部副部长王志军、中央广播电视总台副台长蒋希伟出席开幕式并致辞。

2020世界VR产业大会云峰会

10月19日—20日,由工业和信息化部、江西省人民政府主办的2020世界VR产业大会云峰会在南昌举行。在10月19日的开幕式上,中共中央政治局委员、国务院副总理刘鹤发来书面致辞。江西省委常委、南昌市委书记吴晓军,工业和信息化部副部长王志军,江西省委书记、省人大常委会主任刘奇先后致辞。开幕式由江西省委副书记、省长易炼红主持。

世界显示产业大会

本周排行