人工智能

要取信于人,AI得打开决策“黑箱”

作者:来源:科技日报发布时间:2020-03-26 09:19我要评论

如今,人工智能已经可以做决定,但我们仍不知道这个决定是如何做出的。人们需要了解人工智能如何得出某个结论背后的原因,而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。

近日,微软前全球执行副总裁沈向洋在接到清华大学续聘书时,通过直播方式分享了对AI可解释性与AI偏见相关问题的研究与看法。他提到,AI就像一个黑匣子,能自己做出决定,但是人们并不清楚其中缘由。所以,我们目前需要做的就是将其打开,了解AI想表达的意思和可能会做出的决定。这就需要设计和构建“负责任”的AI。

那么,AI的可解释性指什么?是什么导致人们无法对AI的行为进行解释?人工智能如何做决策?研究人员可以怎样做让这些决策更加透明?

尚无法完整解释决策过程

有人说,不确定性是AI的特征之一。

所有重大技术突破的出现,往往都伴随着相同的问题:如何确保技术的可靠。例如,在电子时代制造和使用电子产品时,人们可以通过技术资料了解所有的元件构成,从而得以信赖它们。又如,许多技术和生活场景中有检视清单的存在,它能指导我们如何合理完成一件任务。然而,到了人工智能时代,情况则不然。

“如今,AI已经可以做决定,这是AI过程中非常重要的一步,但我们仍缺乏对AI所做决定的认知。”沈向洋告诉科技日报记者,从某种程度上来讲,你建立一个模型、算法,输入数据,之后人工智能会产生一个结果。一切看上去顺理成章,但是有一个问题——我们尚不能完整解释为何人工智能会得出这样而不是那样的结论。

沈向洋进一步解释,我们将这种只能看到数据导入和输出,而无法看到和解读其工作原理的模型比作‘黑箱’,而将可以知晓内部工作原理的模型称为‘白箱’。人们需要了解人工智能如何得出某个结论背后的原因,而不是仅仅接受一个在没有上下文或解释的情况下输出数据和信息的结果。”沈向洋指出。

显然,我们不能将明天交付给一个个无可解释的“黑箱”。“我们在学习的时候,经常说不仅要知其然,还要知其所以然。”沈向洋表示,人工智能的可解释性,指的是要“知其所以然”,要了解背后的原因和逻辑,是能回答“为什么”。

“以决策场景下的模型可解释性为例,端到端的深度学习,一个广为诟病的问题是其不透明性或不可解释性,比如说识别一张照片中的物体,机器做出的判断是基于哪些有效特征,我们无从得知。”阿里安全图灵实验室负责人、资深专家奥创认为,人工智能系统必须具有可解释性,以便人类可以理解系统的行为。

研究发现,一个用来判断图片中的动物是狼还是哈士奇的AI模型,在六幅图片中只判断错了一幅,看起来准确率尚可接受,可其背后有极大的隐患。因为如果从局部维度观察,发现它识别出狼的标准,根本不是狼的样子,而是以图片背景中的雪为标准。如果一头狼走入没有积雪的家中,却因此被识别为哈士奇,那就可怕了。显然,我们无法信任这样的模型,这也说明了模型可解释性的重要意义。

目前的解释说明或损害用户信任

如今,AI的规范应用正在成为一个社会问题,去年,欧盟出台《人工智能道德准则》,明确提出AI发展方向应该是“可信赖的”,包含安全、隐私和透明等方面。

“无人驾驶、人脸识别、智慧城市、智能家居等各类场景中都在运用AI,但一旦后端控制系统被攻击,出现规模化、连锁式的崩盘,AI失控的后果不堪设想。”奥创指出。

比如,无人驾驶车要通过识别交通信号标志来决定通行还是停止,而攻击者可以生成一个欺骗通行标志的对抗样本,在行人眼里是禁止通行,但AI系统会识别成允许通行,这足以造成灾难性的后果。再如,自2016年以来,很多地方都推出用于预测未来罪犯的软件,法庭在审判时已经开始用AI进行辅助判断。然而,越是如此,人们越会担心算法是否存在偏见。

沈向洋指出:“‘黑箱’带来的挑战在于,即便其做出的预测是准确的,我们却仍不知何时可以信赖它,或者从中学到什么。更进一步说,即便模型是准确的,在做高风险决策时,也需要知道究竟是什么原因使然。”

人工智能怎样做决策?“目前有种方法可提供解释说明,包括人工智能系统如何运行、怎样与数据进行交互的背景信息,但其最有可能损害用户以及受这些系统影响的人员的信任。通过这些信息,人们将会更容易识别和意识到潜在的偏见、错误和意想不到的结果。仅仅发布人工智能系统的算法很难实现有意义的透明度。最新(通常是最有发展前途的)人工智能技术,例如深度神经网络,通常没有任何算法输出可以帮助人们了解系统所发现的细微模式。”沈向洋指出。

鉴于此,人们需要一个更全面的方法,使人工智能系统设计人员能够尽可能完整、清晰描述系统的关键组成要件。据了解,微软也在与人工智能合作组织及其他组织合作开发最佳实践规范,以实现人工智能系统有意义的透明度。包括通过实践规范以及各种其他更易于理解的方法、算法或模型,来替代那些过于复杂且难以解释的方法。

准确率和可解释性不该是对矛盾

要理解机器学习模型内部如何运行,开发出新技术,来提供更有意义的透明度,需要对这一领域开展进一步研究。

来自微软的里奇·卡鲁阿纳等学者提出“提炼与比较”(Distill-and-Compare)的方法。据沈向洋介绍,面对许多已被广泛应用的专有或不透明的模型,这种方法能够在不探测“黑箱”API(应用程序接口)或预先定义其特性的情况下进行核验。通过将“黑箱”视作老师,训练出透明的学生模型,来模拟原本的“黑箱”,并将它与真实情况进行对比。

而微软研究院有学者提出“‘黑箱’无关”的思路,当医生无法采纳“黑箱”对病人感染流感率的预测结果时,一种解决方法是利用特征归属的办法——根据不同特征之于模型的重要性,为其赋予权重。其中,解释过程认为“打喷嚏”“头疼”是指向流感的证据;而没感到疲惫,则是否认流感的证据。这里权重带有正向或反向的方向性,同时其权重大小也各不相同,“头疼”的权重要明显高于“打喷嚏”。对于医生来说,这样的解释要比简单给出一个“患流感概率90%”有用得多。

沈向洋表示,随着神经网络模型越来越复杂,在准确性越来越高的同时,研究人员遇到一个问题,即不得不在模型的准确性和可解释性之间做出妥协,因为两者常难以兼顾。尤其随着在深度学习模型上进一步推进,经常会牵扯到几百万个乃至数十亿的参数。结果是,有时候研究人员做出一个行之有效的模型,却并不能完全理解其中的缘由。如用一个高准确率的模型来预测病人感染流感的几率,却只能给医生呈现一个数字,或是“阳性”的诊断,而无具体佐证,那么,即便得到的结论是正确的,在医生看来也用处不大——因为医生并不知其结论是如何被推导出的。

因此,要打造负责任的人工智能,确保其决策透明,即“我们能够理解并看到人工智能所做的决定”,尤其需要开发可翻译、可解释的人工智能模型,以了解人工智能是如何做出这些决策的。特别是在事关重大的关键领域中,需要对模型全面理解,以此避免出现错误。高准确率和高可解释性的人工智能将有助真正将技术进行广泛、负责任、有效的应用,造福人类生活。


责任编辑:马利亚
相关链接

首届世界显示产业大会

作为工业和信息化部、中国国际贸易促进委员会、安徽省人民政府联合主办的第十三届中国(合肥)国际家用电器暨消费电子博览会的重要板块,首届世界显示产业大会于11月22日在合肥开幕。

2019世界VR产业大会

10月19日,由工业和信息化部和江西省人民政府联合主办的2019世界VR产业大会在南昌隆重开幕。开幕式上,中共中央政治局委员、国务院副总理刘鹤发表重要讲话。

第二届全球IC企业家大会暨第十七届中国国际半导体博览会

9月3日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办的第二届全球IC企业家大会暨第十七届中国国际半导体博览会在上海开幕

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

“新基建新动力新增长”专题报道

中国电子报从2020年3月开始,特别策划推出“新基建新动力新增长”大型专题报道和系列推介活动,详细报道新基建在激发市场主体活力、增强发展动能、促进经济增长等方面的重要作用,权威推介在推动新基建进程中发...

2019年中国家电市场报告

2月28日,中国电子信息产业发展研究院发布了《2019年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年,我国家电市场零售额规模达到8910亿元,显示出较强的韧性,高端产品和农村市场大...

2020年全国工业和信息化工作会议

12月23日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中全会精神,认真落实中央经济工作会议部署,传达学习贯彻国务院领导同...

学习贯彻党的十九届四中全会精神

党的十九届四中全会擘画了坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化的宏伟蓝图。把思想统一到全会精神上来,把行动落实到全会的重大决策部署上来,是当前全党面临的重要政治任务和重大战略...

2019上半年中国家电市场报告发布

7月29日,中国电子信息产业发展研究院在北京发布了《2019上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年1月-6月,我国家电行业运行稳定、稳中有进,产销均高于去年同期。其中,...

未来5年新增投资超过2000亿元,AI将迎来新拐点丨新基建新

编者按:3月4日,习近平总书记在中共中央政治局常务委员会上强调,要加快5G网络、数据中心等新型基础设施建设进度。新一代信息技术是新基建的重要推动力量,以5G、人...

聚焦新基建丨120秒入门大数据中心建设

3月4日,习近平总书记在中共中央政治局常务委员会上强调,要加快5G网络、数据中心等新型基础设施建设进度。新一代信息技术是新基建的重要推动力量,以5G、人工智能、...

CEN视频新闻 | 2019 CITE 瑞萨电子高级副总裁

第七届电子信息博览会上,瑞萨电子高级副总裁 真冈朋光接受《中国电子报》记者采访。...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO