人工智能

数据爆炸与复杂模型让AI计算迎来更多创新机会

作者:胡雷钧来源:中国电子报、电子信息产业网发布时间:2017-9-26 21:33我要评论

随着人工智能首次写入政府工作报告并且国务院印发了《新一代人工智能发展规划》,人工智能产业被视作新的重要经济增长点,人工智能技术应用成为改善民生的新途径。可以说,以人工智能技术为代表的第四次工业革命扑面而来,以前所未有的方式对人们的生活带来巨大改变。

人工智能将重构所有行业

纵观人工智能近几年的发展,可以观察到一个显著趋势就是人工智能和各行各业的连接越来越密切。从长期来看,人工智能拥有令人难以置信的力量,将重构几乎所有行业。

在搜索引擎业务中,无论是文本、图片搜索还是语音搜索,我们会发现机器似乎变得越来越聪明;在医疗保健行业,人工智能对医学影像来说带来了很大的改变;在金融行业,人工智能在投资组合设计、金融产品营销以及金融安全保障领域都有应用;在汽车制造行业,谷歌、Uber、百度等科技公司以及戴姆勒、福特等众多的汽车厂商正在开发智能驾驶;在天气预报领域,人工智能的技术目前在雷达外推短临预报上已得到应用;在石油勘探领域,神经网络和模糊逻辑相结合被成功应用到了裂隙性油藏的分析,以及选择最佳的测井数据对油藏特征进行研究之中。

AI技术发展:大数据+大模型+大计算

人工智能在今天得以快速的发展,跟数据、算法、计算的发展息息相关。

目前,全球数据量正以平均年增长率50%%的速度增长,预计到2020年全球数据总量将超过40ZB,而2020年中国的数据总量将占全球数据总量比例的20%%,成为世界第一数据资源大国和全球数据中心。

同时,人工智能深度神经网络也在快速的发展,更深更大的算法模型、更复杂的架构正在成为趋势。卷积网络曾是最大最深的神经网络架构之一,但如今,它被抽象成了大多数新架构中的一小部分。

最后,数据的增大、模型的复杂,将为计算带来更大的挑战空间,当如此庞大的数据用于人工智能的训练学习时,数据量将超出内存和处理器的承载上限,如果计算力不能相应增长,整个学习过程将变得无比漫长,甚至完全无法实现最基本的人工智能。

AI计算迎来更多创新机会

从人工智能的三要素来看,如何更好的将爆炸式增长的海量数据用于模型训练,已成为人工智能未来发展的关键环节。数据与模型的快速发展,为计算带来了挑战的同时,也提供了更多的创新机会。

那么在人工智能计算创新方面,则应从强调构建AI系统能力与价值着眼,在硬件创新、软件实现、框架优化和应用加速4个维度赋能AI,这四个维度形成了一个完整的“4S”组合:硬件创新是“Server”,加上软件实现构成“System”,再加上框架优化就是“Solution”,最后加上应用加速即是“Services”,这也是浪潮今年提出的AI端到端解决方案。

复杂的人工智能应用环境是进行人工智能硬件创新开发时要考虑的重要因素。人工智能在模型训练时对计算需求大更依赖GPU,而当产品服务上线后,计算需求减少,吞吐量需求增大,要考虑低延迟的产品。今年,浪潮与百度在AI计算上联合开发的SR-AI整机柜服务器,就是根据百度的AI模型训练需求开发的。我们将CPU和GPU分开成两个BOX,CPU主要负责管理和控制,GPU主要负责AI运算,通过专用的线缆将2个部分高速的连起来,随着模型复杂度的增加和规模的增加,计算量会增加,如果一个GPU BOX不够的话,就可以扩展多个GPU BOX。目前,我们开发的这款SR-AI整机柜服务器可以实现单节点16卡、单物理集群64卡的超高密度扩展能力,已经应用在百度无人车之中,具备千亿样本、万亿参数级别的AI计算能力。同时,在前端推理方面,浪潮、科大讯飞和Altera公司共同发起了一项基于FPGA在智能语音识别领域的合作,三方完成了基于OpenCL的FPGA线上深度学习语音识别加速方案。

在AI系统管理方面,深度学习的模型训练往往流程较长、开发环境较复杂,涉及数据准备和处理、特征工程、建模、调参等多个步骤及多个框架和模型,每个框架依赖环境不同且有可能交叉使用。更大的“痛点”在于,深度学习模型在训练时往往耗时较长,短则数小时长则数天,以往在训练完成后才意识到模型存在问题,大大耗费了用户的精力和时间。浪潮根据此需求设计开发的AIStation管理软件可以提供从数据准备到分析训练结果的完整深度学习业务流程,支持Caffe、TensorFlow、CNTK等多种计算框架和GoogleNet、VGG、ResNet等多种模型,有效的提高计算资源的利用率和生产率,为深度学习用户提供高效易用的平台。

深度学习框架可以帮助用户更好更快的开发深度学习模型,浪潮主导开发的全球首个集群并行版的Caffe深度学习计算框架Caffe-MPI,目前已在Github上开源公布所有代码。在基于国际通行的Imagenet数据集进行深度学习模型训练时,Caffe-MPI表现出良好的并行扩展,其性能是Google最新深度学习框架TensorFlow的近两倍。

AI应用优化是浪潮极为重视的一项核心能力。浪潮与奇虎360合作开展了针对图片搜索技术的GPU架构移植,基于K-means无监督聚类算法串行版本,完成GPUMPI集群版本的实现,节点内使用CPU+GPU协同计算,大幅降低了计算时间。

人工智能是当前人类所面对的最为重要的技术社会变革,可以全面提升一个国家的实力,全球许多国家都对AI充满了憧憬与渴望。中国作为快速成长的数据资源大国,并且连续多年成为全球服务器增长最快的市场,在发展人工智能上具备得天独厚的数据优势与计算优势,这将让中国有能力成为人工智能的技术强国、应用大国。

作者胡雷钧为浪潮集团副总裁


责任编辑:电子信息产业网

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

数字经济前沿论坛-CITE2018第六届中国电...

为贯彻落实党的十九大精神,充分展示新一代信息技术产业最新发展成就,促进产业核心技术突破,加快形成数字经济新动能,引领信息技术产业供给侧改革,工业和信息化部、深圳市人民政府将于2018年4月9日-11日在深圳市共 ...

中国超高清视频(4K)产业发展大会

3月29日,中国超高清视频(4K)产业发展大会在广州市召开。大会由工业和信息化部、国家广播电视总局、广东省人民政府主办,广东省经济和信息化委员会、广东省新闻出版广电局、广东省通信管理局、广州市人民政府、中...

工业互联网平台建设与推广专栏

当前,全球工业互联网正处在格局未定的关键期、规模化扩张的窗口期、抢占主导权的机遇期。作为工业互联网三大要素,工业互联网平台是全要素连接的枢纽,是工业资源配置的核心,正成为领军企业竞争的新赛道、产业布局...

聚焦2018年全国两会

3月5日,第十三届全国人民代表大会第一次会议在人民大会堂开幕。会后,工信部部长苗圩在人民大会堂两会“部长通道”回答记者提问时表示,工信部通过调查发现,广大手机客户对手机流量区分本地流量和全国流量这种计...

第六届中国电子信息博览会开幕式暨数字经济前沿论坛

本次论坛主题是“智领新时代 慧享新生活”,将邀请政府行业主管部门、国内外著名专家学者、企业家发表主题演讲、对话或专题交流,深入探讨深化创新驱动战略、实施“中国制...

必看 | 2017年成就平板显示产业的十大事件

2017年1月22日,由广东聚华印刷显示技术有限公司承建的广东省印刷及柔性显示创新中心成立。该中心以建设G4.5印刷OLED研发公共开发平台及印刷显示产业园为基...

4G高端访谈:Red Bend中国技术与新业务总监殷高生

其实我们Red Bend是一家典型的技术公司,是基于公司创始人他的很多专利算法专利,所以我们在手机软件管理里面我们提供差分升级对软件版本进行升级,传统方式进行整...

友情链接
关于我们 | 联系我们
电子信息产业网LOGO