产业要闻

领先国家政府大数据应用仍处初级阶段

作者:电子信息产业网来源:中国电子报、电子信息产业网发布时间:2014-05-30 09:30我要评论

来源于网络和云的海量数据,为发现价值、创造价值,以及帮助商业智能支撑机构决策提供了新的机遇。不过,大数据也面临复杂性、安全和隐私风险等新挑战。企业部门正引导大数据应用的发展,公共部门也开始关注迅速增长的大数据,以期为实时决策提供帮助和支持。本文首先比较了政府和企业在大数据应用的目标、任务、决策制定过程、组织架构和战略方面的差异;其次,考察了部分技术领先国家当前大数据应用的状况,这些国家包括美国、英国、韩国、新加坡和日本等;最后,提出了关于国家和政府部门未来建设大数据战略应用项目的建议。

企业和政府大数据应用追求异曲同工

政府使用大数据是为了提升和改善公共服务,这与企业利用其追求利润异曲同工。政府在应用大数据时,最大的挑战就是数据搜集。

虽然企业和政府的主要任务并不冲突,但各自的举措具有不同的目标和价值。企业的主要目标是通过提供产品和服务获取利润,发展或维持自身的竞争优势,创造令消费者和其他利益相关者满意的价值。政府的主要目标则是维持国内稳定,实现可持续发展,确保公民的基本权利,改善国民福利和促进经济增长。

在竞争的市场环境下,大部分企业着眼于制定短期决策,并且执行人员数量也很有限。而政府的决策制定过程通常需要更长的时间,经过不同群体(包括官员、利益集团和普通民众)反复讨论和磋商,在彼此间达成一致后才能有最终结果。因此,政府制定决策要完成很多程序性步骤,以降低决策风险,提高决策效率和确保其效果。由此看来,大数据在政府部门和私有部门的应用具有很大不同。

对于很多企业特别是中小企业来说,分布式技术是一个挑战。因为这些中小企业往往不具备应用大数据所需要的专业人员和经验,他们需要外部资源的帮助。应该看到,大数据应用需要的不是纯粹基于技术的技能,找到正确的分析大数据的方法,或许是企业应用大数据面临的最大难题。对于大部分企业来说,发现和选择胜任的数据专家(在数据挖掘、可视化、操作和发现等方面)是困难而昂贵的。

大数据有多个来源,包括互联网、产业部门、视频、电子邮件和社交媒体。许多白皮书、期刊论文和商业报告已经提出了政府利用大数据以帮助其服务公众和应对传统挑战(如医疗成本上升、创造就业、自然灾害和恐怖主义等)的路径。

政府在应用大数据时,不仅要处理多个来源、不同格式数据的集成等一般问题,而且还面临一些特殊挑战。首先,最大的挑战就是数据搜集。因为政府搜集的数据不仅来自于多种渠道(如社交网络、互联网、众包),也来自于不同的来源(如国家、机构和部门),搜集难度可想而知。其次,在国家之间分享数据和信息也是一个特殊的挑战。跨国分享信息,由于涉及语言转换和不同的文化背景(内容的表现形式),分享和传递的信息有可能失真。再次,另一个挑战是在一个国家不同的政府部门和机构之间分享数据。政府数据与商业数据最重要的不同就在于范围和区域,这种差异近几年还在扩大。政府(包括地方政府和中央政府)在实施法律和规章、提供公共服务和监管金融交易的过程中积累了大量数据。这些数据的属性、价值和带来的挑战,都不同于公司运营中产生的数据。政府的大数据特征属性可以表述为存储、安全和多样性。通常,每个政府机构或部门都有自己的存储机构,用于存储公共或机密信息,而且并不愿意分享各自的专有信息。

每个系统都保存有与其他系统隔绝的信息,这使得政府机构和部门之间的数据集成更加复杂。彼此沟通的失败有时是影响数据集成的重要原因。例如,在英国,警察机构和医院之间曾经打算在暴力犯罪方面分享信息,但这一项目最终失败了,其原因就是两者之间沟通不足。另一个分享政府信息的挑战是建立统一的数据格式,能够允许不同的机构进行分析。尽管大部分政府数据是结构化的,但是从多种渠道和来源去搜集数据仍然存在困难。缺乏标准化的数据格式和软件,以及从多个政府机构的离散数据库中提取有用信息的跨机构解决方案,也是政府推进大数据应用面临的挑战。但由于政府的财政紧缩措施,导致其缺乏相应的资金去推进解决上述问题。

在使用大数据时,政府必须解决相关的法律、安全和许可要求等问题。在搜集和使用大数据用于预测分析与保障公民隐私权之间,应该有一条清晰的界限。

在美国,美国爱国者法案允许合法监控,有时还可以监控公民;电子通信隐私法案允许相关部门不经授权便可进入电子邮件系统。要对网络情报共享和保护法案(CISPA)加以注意,它将允许安全机构和私人网络公司之间的信息共享,这增加了人们对信息不适当应用的关注。

数据安全是政府大数据应用最基本的属性,因此,搜集、存储和使用大数据时都需要特别注意。然而,目前大部分大数据技术,包括Casandra数据库和分布式技术,都缺乏足够的安全保护工具。对政府而言,确保安全是又一个挑战。

对于政府的大数据项目而言,确保获取高度管制行业(比如金融服务和医疗机构)信息的合规性,是搜集数据的另一个障碍。比如,当从与医疗相关的大数据获取有效信息的时候,必须解决医疗管制制度对数据保护的问题。针对医疗行业的大数据分析,美国与医疗相关的两个法案——健康保险携带和责任法案(HIPAA)、医疗信息技术促进经济和临床健康法案(HITECH)均设置了很大障碍。

HIPAA保护涉及个人隐私的健康信息,并提出了保护电子数据和病人档案的国家标准,而且制定了在分析病人安全事件中保护病人的身份和信息的规则。2009年,HITECH延伸了HIPAA在保护医疗记录和医疗信息被不同机构以电子方式使用方面的规定。这些法律法规限制了医疗记录数据信息用于大数据分析的数量和类型。因为大数据定义涉及大范围的数据,而这些法规把搜集数据和进行分析限定在一个狭小的范围。目前在美国,能够用于大数据分析的医疗信息只能来自于志愿者的提供。

企业使用大数据,目的是了解消费者的需求和行为,发展独有的核心竞争力,并创新产品和服务;政府使用大数据,是为了通过预测性分析,提高政策透明度,增加公民对公共事务的参与度和预防犯罪,改善国家安全,通过更好的教育和医疗服务提高居民的福利。

开发从大数据中提取更多价值的技术,对于政府和企业来说都是持久挑战。然而,对于政府的挑战来得更尖锐,因为其必须打破部门间的阻隔以推进数据集成,实现各部门信息共享,并建立统一的数据调控中心(如美国联邦数据中心)。

技术领先国家已实施大数据应用项目

技术领先国家或地区已实施大数据应用项目,以提高政府的运行效率和透明度,提高民众的福利和公共事务参与度。

目前,世界上一些发达国家已经在政府部门开始推广大数据应用。通过分析和比较这些发达国家的大数据应用,我们能了解当前和未来需要大数据应用聚焦和服务的地方,并为其他国家开展大数据应用提供借鉴。

美国:颁布大数据研究和发展计划

2010年,美国总统科学技术顾问委员会(美国联邦政府负责协调信息技术投资的主要机构)在《规划数字化的未来》中建议,“联邦政府的每一个机构和部门,都需要制定一个应对‘大数据’的战略”。这标志着大数据时代已经正式来临。

2012年,奥巴马政府颁布了“大数据研究和发展计划”,通过提高从大型而复杂的数据集中提取知识和观点的能力,进而加快美国科学技术进步的步伐,加强国家安全,并改善教学研究。这是一个数额高达2亿美元的投资计划,涉及多个联邦部门和机构,包括白宫科学技术政策办公室、美国国家自然基金会、美国国立卫生研究院、美国国防部、美国能源部、美国卫生与公众服务部、美国地质调查局等机构。这个投资项目的主要目的是提高大数据核心技术的发展水平,加速科学和工程开发,加强国家安全,转换大数据教育和学习方式,扩展开发和使用大数据技术的工作力量。

截至2014年2月,美国国立卫生研究院(NIH)在亚马逊网络服务中心已经积累了数以百万亿字节的人类遗传变异数据,研究人员因此能获得和分析巨量数据,而不用再去发展自身的超级计算能力。在2012年,美国国家科学基金会联合美国国立卫生研究院实施了大数据核心技术规划,目的在于推进在多样化、分布式、异质性的大数据集合中管理、分析和提取有用信息的核心技术。

美国其他联邦政府机构也开始进行大数据分析。美国国家税务局已经在它的返回审查程序中集成了大数据分析能力。通过分析大量的数据,美国国家税务局能够检查、预防和处理避税和诈骗案。美国国防部也在大数据相关项目上花费了数百万美元,其目标之一就是利用大数据发展自主机器人系统(学习机器)。

美国地方政府也开发了大数据项目。例如,在2011年,美国纽约州锡拉丘兹市政府与IBM合作开展了一个智慧城市项目,使用大数据帮助预测并降低住宅空置率。密歇根州政府信息技术部门构建了一个数据库,提供密歇根州居民的相关信息,以便政府机构为居民提供更好的服务。

欧盟:建立统一“数字市场”

2010年,欧盟正式发布了“欧洲数字化议程”,旨在建立一个统一的“数字市场”,推动欧盟内部高速互联网的互联互通和应用共享,进而促进欧盟经济、社会的可持续发展。2012年,欧盟委员会在“欧洲数字化议程及其挑战”中制定了大数据战略,并强调了公共数据安全及挖掘公共机构数据的价值潜力,以及满足日益强烈的对个人数据安全保护的诉求;该战略还强调发展物联网,确保网络安全及在线交易的数据安全。

英国:HSC提升数据处理能力

英国政府是最早推进大数据规划的欧洲国家。2004年,英国设立了水平扫描中心(HSC)项目,以提升政府应对跨部门和多学科挑战的能力。2011年,英国水平扫描中心(HSC)启动了“气候变化的未来国际影响”计划,通过对多数据源进行深度分析,研究解决气候变化对食品和水的可获得性以及对地区或国际形势的影响等问题。英国政府发起的另一个项目是2009年建立的http://data.gov.uk公共网站,来自7个政府部门的1000多个既有数据集对外开放,后来增到8633个数据集。

英国和荷兰、瑞士等17个国家与IBM合作开发了一个名为DOME的超级计算系统。该系统每天能处理超过1EB的数据,数据来源于射电望远镜平方公里阵列(SKA),旨在通过百亿亿次计算、数据传输和存储等新兴技术,对每日采集的数据流进行读取、存储和分析,以解决一系列宇宙科学问题。这个大数据项目的总部是位于英国曼彻斯特的Jodrell Bank天文台。

韩国:ICT战略委员会发起大数据倡议

2011年,韩国总统国家ICT战略委员会发布了“大数据倡议”。该委员会是最高层次的政府信息通信技术协同机构,其使命是在建立必要的基础设施过程中发挥领导作用。“大数据倡议”旨在建立泛政府大数据网络和分析系统,推进政府与私有部门之间的数据共享融合,建立公共数据诊断系统,培养合格的大数据专业人员,保障个人信息安全,以及改善相关法律,发展大数据基础设施和技术,发展大数据管理和分析技术。

很多韩国政府机构已经提出了相关的行动计划。例如,韩国卫生部建立了社会福利综合管理网络,以分析来源于35个机构的385个不同类型的公共数据集,综合管理中央政府和地方政府提供的福利和服务。

韩国农林水产食品部、公共行政与安全部(MOPAS)计划推出预防手足口病的综合系统。该系统依托于分析与动物疾病相关的海外大数据以及海关出入境记录、养殖场的跟踪调查、牲畜迁移和养殖工人活动等相关大数据,实现预防该病的目的。MOPAS的另一计划是推出灾害预报系统,该系统基于过去的灾害记录和自动实时的天气和地震预报进行预测。此外,韩国生物信息中心计划开发国家DNA管理系统,该系统将集成大量的DNA和病人医疗信息,为个人提供个性定制化的诊断和治疗。

新加坡:实施风险评估和水平扫描计划

2004年,针对国家安全、传染病和其他国家层面关心的问题,新加坡政府与国家安全协作中心合作发布了风险评估和水平扫描计划(RAHS)。通过对大数据的采集和分析,积极把控威胁国家安全的相关问题,包括恐怖袭击、传染病传播和金融危机等。风险评估和水平扫描计划实验中心(REC)于2007年开放,它聚焦于风险评估和水平扫描计划相关政策制定的新技术工具,并通过大数据基础设施系统升级来维持和强化这一能力。为了通过大数据研究、分析和应用创造价值,新加坡政府还推出了门户网站http://data.gov.sg/,50多个政府部门的5000多个数据集通过此网站向公众开放。

日本:启动多项利用既有大数据计划

日本政府已启动多个利用既有大数据的计划。从2005年到2011年,文部科学省与相关的大学和研究机构合作,设立了信息爆炸时代的新IT基础设施项目。从2011年起,日本政府优先解决地震、核电站灾难、受污染区域的重建和灾民安置以及相关的社会和经济救济等问题。文部科学省与国家科学基金会合作研究利用大数据的技术,以预防和减轻自然灾害。作为内务省的两个分支机构,信息和通信委员会和ICT战略委员会把“大数据应用”作为日本面向2020年的关键使命。日本已经成立了一个大数据专家组。

国际观察

未来建设大数据战略应用项目应重视五大问题

回顾大数据应用领先国家的大数据项目情况,有三个显著特点:

第一,现有的大多数大数据项目充其量只是数据量较大的应用。这些政府大数据应用项目,大部分是基于共享存储的结构化数据库,并不使用实时、动态和非结构化或半结构化的数据。第二,公共部门致力于规范大型而复杂的数据集,政府期望应用大数据来提升政府服务民众的能力,以及解决国家面临的重大挑战问题,包括经济、医疗、就业、自然灾害和恐怖袭击等。然而,大部分大数据应用于居民(参与到公共事务)和商业部门,而不是政府部门。第三,政府设立的大部分大数据项目刚刚开始或计划未来实施,美国国家科学基金会和国家卫生机构的大数据计划就是如此。这意味着,大数据在政府部门的应用仍然处于发展的初级阶段,只有少数项目在运营(比如美国的RRP、新加坡的RAHS和英国的HSC)。

对不同来源和不同格式(结构化/存储的,半结构化/滞后的,非结构化/即时更新的)的数据进行分析和管理并创造价值,是一种新的差异化竞争形式。大部分政府运行或计划的大数据项目需要循序渐进,设定正确的目标。项目的成功,取决于他们整合和分析信息的能力,开发支持系统(如大数据控制系统)的能力和分析决策的能力。

通过仔细分析先行国家已有的大数据应用项目的经验和教训,特别是利用移动服务、移动互联等,将有利于其他国家的政府更好地开发和利用大数据,以应对面临的挑战。

尚未应用大数据的政府,应重视公共部门应用大数据的几个问题:

一是国家优先发展战略。大数据应用领先国家的所有大数据项目,都具有国家优先发展的相关目标(比如,数据的开放和获得,公民参与公共事务)。对大数据应用的主要关注点集中于安全、速度、交互性、分析能力和专业人员。然而,每个国家的政府基于其独有的环境,都有自身的优势、机会和挑战。

二是分析机构。对于跨部门的数据,管理和综合数据需要自上而下的统筹。政府应建立一个大数据控制中心以综合各部门既有数据的数据库,包括结构化和非结构化的。此外,政府还需要建立一个先进的分析机构负责制定开发战略,包括如何通过新技术平台进行管理和分析,如何招募到熟练的从业人员。

三是实时分析。政府需要管理即时更新的大数据,并进行实时分析,同时保护个人信息安全,还需要探索新的技术平台(比如云计算、先进分析和安全技术)。相当多的政府数据在性质上是全球化的,而且能够被用于预防和解决全球事务,因此必须开展全球合作。

四是国际化。各国政府间努力集成和共享地球观测数据。全球地球观测系统是一个全球性的公共基础设施,产生了综合的、接近实时性的环境数据,目的是为全球使用者和决策制定者提供信息以供分析。政府也需要共享与安全威胁、诈骗和非法活动相关的数据。这种大数据需求不仅需要转换技术,还需要国际化的协作去共享和综合数据。

五是ICT专业公司。政府应该与ICT专业公司合作。例如,亚马逊AWS关联了很多公共数据集,包括日本、美国人口调查数据和许多基因组及医疗数据库。


责任编辑:电子信息产业网
相关链接

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

数字经济前沿论坛-CITE2018第六届中国电...

为贯彻落实党的十九大精神,充分展示新一代信息技术产业最新发展成就,促进产业核心技术突破,加快形成数字经济新动能,引领信息技术产业供给侧改革,工业和信息化部、深圳市人民政府将于2018年4月9日-11日在深圳市共 ...

中国超高清视频(4K)产业发展大会

3月29日,中国超高清视频(4K)产业发展大会在广州市召开。大会由工业和信息化部、国家广播电视总局、广东省人民政府主办,广东省经济和信息化委员会、广东省新闻出版广电局、广东省通信管理局、广州市人民政府、中...

2019CES国际消费电子产品展报道

CES由美国电子消费品制造商协会(简称CEA)主办,CES每年一月在世界著名拉斯维加斯举办,CES是世界上最大、影响最为广泛的消费类电子技术年展,也是全球最大的消费技术产业盛会。...

2019年全国工业和信息化工作会议

今年中央经济工作会议,认真总结了一年来我国经济社会发展取得的成就和经验,深入分析了当前经济形势,全面部署了明年经济工作,提出要推动制造业高质量发展,坚定不移地建设制造强国。中央经济工作会议把推动制造业...

改革开放40年

40年的实践充分证明,党的十一届三中全会以来我们党团结带领全国各族人民开辟的中国特色社会主义道路、理论、制度、文化是完全正确的...

支持民营企业在行动

当前,国际经济复杂多变、新旧动能转换和政策措施落实差距等多种因素叠加,民营企业发展内外交困,“民营经济离场论”、“新公私合营论”等不当言论甚嚣尘上,导致部分民营企业发展缺乏定力和信心。习近平总书记“在...

中关村集成电路设计园开园暨第二届“芯动北京”中关村IC产业论坛

中关村集成电路设计园开园暨第二届“芯动北京”中关村IC产业论坛...

星河亮点副总裁王奥博:5G应用为测试厂商带来新机遇

今年可以认为是5G移动通信的元年、真正商用的元年,因为随着运营商中国移动、中国电信、中国联通扩大5G网络在更多城市的试用,5G各方面的产业成熟度也已经达到了可以...

普天技术副总裁杜涛:开拓物联网市场须在垂直行业二次学习

普天作为通信行业的一个老兵,为2018中国国际信息通信展带来了信息通信与网络安全、物联网、智慧社会等领域的众多自主创新成果。9月26日,在2018中国国际信息通...

第六届中国电子信息博览会开幕式暨数字经济前沿论坛

本次论坛主题是“智领新时代 慧享新生活”,将邀请政府行业主管部门、国内外著名专家学者、企业家发表主题演讲、对话或专题交流,深入探讨深化创新驱动战略、实施“中国制...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO