智能计算

算法界上演“猫鼠游戏”连续剧

作者:来源:科技日报发布时间:2019-07-04 08:36我要评论

医疗手术、无人驾驶、围棋对弈、随手可用的翻译……近十年来,人工智能(AI)取得了巨大进步。而这,要得益于人工神经网络的发展。

这一神经网络的模式,效仿的是我们人类的大脑,在大规模应用时,也被称为深度学习,其能够自己发现数据的模式,而无需明确指令。

深度学习虽然可以在大数据训练中学到正确的工作方法,却也很容易受到恶意干扰。攻击者们通常会通过输入恶意数据来欺骗深度学习模型,导致其出现严重故障。

面对恶意算法欺骗,人工智能如何反击?英国《自然》网络版日前的报道称,现在,计算机科学家正在多方寻找对策,以便让人工智能更安全。

AI:我因“学习”而受伤

“学习”,是人工智能的核心,也是使计算机具有智能的根本途径。

深度学习的主旨,是让计算机去模拟或实现人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构,使之不断改善自身的性能。

但同时,深度学习算法的不可预测性,使其需要不断挖掘。

对于家庭和个人手机来说,虚拟智能化助理的应用越普遍,恶意攻击就越可能随时发生。有些信息眼看、耳听都没有问题,却能“暗藏杀机”——隐藏着劫持设备的指令。

举例来说,人工智能“看”图像的模式,和人类的肉眼大不一样。通过微妙改变图像的某些部分,再输入后的图片即使肉眼看来一模一样,计算机看起来却大不相同。这就叫对抗性示例。

除了图像,声音也会有同样的问题,只要修改了一个语音片段,人工智能就可能修改成完全不同的语音指令。

无需隐身,也能抓住攻击者

不过,在不久前召开的国际学习表征会议(ICLR)上,美国伊利诺伊大学香槟分校的计算机科学家拿出了一种对抗攻击的方法。

他们编写的算法可以转录完整的音频以及单个片段。如果单个片段转录出来和完整音频中的对应部分不完全匹配,那么算法会立即用一面小红旗做出标记,表明音频样本可能已遭攻击。

在攻击测试中,面对几种不同类型的修改,该算法几乎都检测到了异常情况。此外,即使攻击者已经了解到有防御系统的存在,大多数情况下还是会被抓住。

这套算法拥有令人惊讶的稳定性。谷歌大脑团队的科学家尼古拉斯·卡林尼评价称,其最具吸引力之处在于它的“简单”。另有与会专家认为,随着对抗性攻击越来越常见,谷歌助手、亚马逊和苹果等服务,都应当应用这种防御系统。

然而,攻击和防御之间,注定是一场持久的“猫鼠游戏”。卡林尼表示:“我毫不怀疑有人已经在研究如何攻击这种防御系统了。”

提前演练,对攻击免疫

也有的研究团队在另辟蹊径。

就在本周,澳大利亚联邦科学与工业研究组织下属团队公开了一套算法,其通过效仿疫苗接种的思路,帮助人工智能“修炼”出抗干扰能力。

所谓“疫苗算法”,就是在识别图片时,能够对图片集合进行微小的修改或使其失真,以激发学习模型“领会”到越来越强的抗干扰能力,并形成相关的自我抗干扰训练模型。经过此类小规模的失真训练后,最终的抗干扰训练模型将更加强大,当真正的攻击到来之时,机器学习模型将具备“免疫”功能。

这其实是针对深度学习模型专门打造的训练。因为它会“学习”,所以也会学着纠错。

邮件过滤器:效果不尽人意

邮件过滤器真的已经很努力了,但效果并不尽如人意。

这是因为防御与攻击总是相伴相生。随着漏洞越来越多的被察觉,人工智能拥有更多的防御能力,恶意攻击也在不断进阶。

在4月召开的美国系统和机器学习大会(SysML)上,德克萨斯大学奥斯汀分校的计算机科学家们揭示了机器学习算法在文本理解方面的漏洞。

有些人认为文本不容易被攻击,因为恶意欺骗可以对图像或声音波形进行微调,但改变任何文字都会被察觉。可科学家告诉我们不是这样。

恶意攻击会瞄准一些同义词,文本含义不发生改变,但深度学习算法却可能因此而判断错误——垃圾邮件成了安全的,假新闻被合法推送。

科学家们演示了一套恶意攻击程序,它甚至会检测文本分类器在判断是否含有恶意时,最依赖的是哪些词语。接着,它挑选出关键词的同义词,替换,然后飞速开始测试下一个关键词。在这套算法攻击下,过滤器的准确率急剧下降。

不过,将这些手段公诸于众,究竟可以提高防御能力,还是会加剧攻击手段,目前仍有争议。此前,已经有AI实验室拒绝公开一种攻击算法,因为担心它被滥用。


责任编辑:马利亚
相关链接

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

数字经济前沿论坛-CITE2018第六届中国电...

为贯彻落实党的十九大精神,充分展示新一代信息技术产业最新发展成就,促进产业核心技术突破,加快形成数字经济新动能,引领信息技术产业供给侧改革,工业和信息化部、深圳市人民政府将于2018年4月9日-11日在深圳市共 ...

中国超高清视频(4K)产业发展大会

3月29日,中国超高清视频(4K)产业发展大会在广州市召开。大会由工业和信息化部、国家广播电视总局、广东省人民政府主办,广东省经济和信息化委员会、广东省新闻出版广电局、广东省通信管理局、广州市人民政府、中...

壮丽70年 奋斗新时代

70年来,中国共产党人从未停下“赶考”脚步。神州大地上,一幅幅壮丽的发展画卷在描绘,一部部感天动地的奋斗史诗在书写。...

2019打造制造业“双创”升级版

围绕制造业“双创”升级的内涵本质、发展趋势、实践启示等方面,邀请政府部门及事业单位领导、两院院士及专家学者、重点地区及企业领导等撰写相关文章,共同探讨制造业“双创”发展新路径。...

聚焦2019全国两会

3月3日电 凝聚共识谱写时代华章,共商国是同绘复兴宏图。中国人民政治协商会议第十三届全国委员会第二次会议3日下午在人民大会堂开幕。...

MWC2019世界移动大会报道

MWC,世界移动通信大会。主办方全球移动通信系统协会(GSMA)成立于1987年,是世界移动通信界的三大国际组织之一,目前其成员已包括来自220个国家的近800家移动运营商以及230多家更为广泛的移动...

2018家电网购分析报告发布

2月25日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年,我国家电网购市场增长平稳,B2C家电网购市场(含移动端)规...

CEN视频新闻 | 2019 CITE 瑞萨电子高级副总裁

第七届电子信息博览会上,瑞萨电子高级副总裁 真冈朋光接受《中国电子报》记者采访。...

视频新闻丨院士专家畅谈智能网联汽车

3月19日,慕尼黑上海电子展前夕,新能源与智能网联汽车创新发展论坛在上海举办,论坛邀请了30多为海内外行业人士,近35场精彩发言,围绕新能源和智能网联两大领域展...

两会专访丨全国政协委员、新大陆科技集团总裁王晶

2019年全国“两会”期间,全国政协委员、新大陆集团总裁王晶在接受《中国电子报》记者采访时表示:传统农村需要发挥信息技术和互联网的载体和引擎作用,促进农业生产、...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO