应用

迎风而上2021:如何破题五大数据挑战?

作者:孙丹来源:中国电子报、电子信息产业网发布时间:2020-12-28 15:22我要评论

白驹过隙,时光荏苒。2020年对于我们所有人来说都是不平凡的一年。我们见证了COVID-19疫情的肆虐,也体会了战疫中科技的能量。不仅应对疫情,科技同时在改变着我们疫后生活、工作的方式,这其中,数据的存储和管理,也呈现出更多的新态势,需要我们去关注并给与及时应对。

1.(静态和动态数据)分层安全的重要性日益提高。

超大规模软件生态系统不断发展,使得企业和站点在不具备基础设施所需联网能力的情况下,也能够在较小的“原子单元”上开发和部署应用。越来越多的云原生应用在全球各地的联网点或托管设施上运行。企业必须在流程的每一步对数据进行保护,在更加分布式的部署模式中妥善保护用户静态和动态数据。

给企业领导者的建议:在许多行业中,为防止来自内、外部的各种威胁,静态数据加密逐渐成为强制性要求。也许今天在您所处的行业中静态数据加密还不是一项强制性要求,但将来终归会如此。因此,希捷建议您未雨绸缪,尽快采用加密硬盘,以确保不会造成业务中断。

2.企业更广泛地采用对象存储。

随着数据的爆炸式增长,对象存储开始成为大容量存储的标配。相较于传统的文件存储而言,对象存储具有诸多优势,包括规范性元数据、可扩展性和无分层数据结构。系统得益于数据集蕴含的更高智能,而对象存储恰能够提供这种智能。存储类型包括块存储、文件存储和对象存储。对于对性能十分敏感的许多任务关键型应用来说,块存储至关重要;文件存储多年来一直服务于传统应用,并可提供可靠的架构;而对象存储则侧重于新应用的开发,它可以与块存储相结合,以共生的方式提升系统规模和性能。许多传统文件应用也在向对象存储基础设施迁移,以充分利用其提供的规模效益。

给企业领导者的建议:由于具备较高的经济效率和可扩展性,对象存储正在迅速成为事实上的大容量存储标准,以快速补充和取代文件存储。此外,新毕业的程序员越来越多地基于对象存储接口来构建工作流程。我们应该多聘用这样的人才。如果您尚未将对象存储引入自己的数据中心,那么现在是时候采取行动了。

3.  可组合系统日益普遍。

将系统划分为独立单元,让它们能够与其他独立单元进行组合,这并不是新想法,但是在开源的基础上广泛采用可组合系统才刚刚起步。Kubernetes是一个开源系统,用于自动部署、扩展和管理容器化应用,是上述发展趋势的核心。开源是应用开发的未来,因为它能够让更广泛的社区携手解决许多行业共同面临的挑战,并允许通过开放式架构部署特定领域解决方案。将硬件进行组合以便更好地满足软件或业务需求,是一个必然的发展方向。

给企业领导者的建议:今天的数据中心正朝着可组合的方向发展,因为它可以更加轻松地部署及重新部署资源,而无需先验配置以及计算、内存和存储之间的静态配置比率。容器和Kubernetes是可组合系统的核心机制,所有数据中心都应该着手采用这些技术,如果它们还没有采用的话。

4.  分层部署大容量存储(将热数据放在闪存上,而所有其他数据放在硬盘上)。

英伟达GPU设计将内存划分为不同的层级(寄存器、共享内存和全局内存),每一层有不同的属性。寄存器延迟较低,内存较小;全局内存延迟较高,提供更大内存。英伟达提供了一个软件界面,使用户可以充分利用分级内存和根据该架构优化的各种解决方案。同样,SSD和HDD也可以处于不同的层级。我们创建了太多有价值的数据,采用同构存储策略无法提高效率。

那么分级存储为什么重要呢?全部由高性能存储设备组成的存储系统成本会比预期高;而全部由大容量存储设备组成的存储系统性能又达不到要求。于是,分级存储应运而生:这种方式可以在成本和性能间取得最佳平衡。随着其他存储技术(例如存储级内存)的不断出现,我们迫切需要能够从各级存储中提取最大价值的架构。

给企业领导者的建议:如果预算无限充足,数据中心可以全部采用成本高昂的存储介质。然而遗憾的是,成本的现实打碎了幻想,我们不得不进行分级存储:热数据保存在高成本、高性能的介质上,而访问频率较低的数据则放在经济实用的大容量存储介质上。幸运的是,数据中心软件越来越擅长识别热数据和冷数据,并进行相应的迁移。如果您的数据中心尚未采用异构存储介质,那么您有可能损失了存储性能,或者付出了高昂的存储成本。

5.  形成性人工智能提升数据的可用性。

不仅数据的创建呈爆炸式增长,有用数据量也在迅猛增长;甚至由于人工智能/机器学习(AI/ML)的进步使得用户能够从已经归档的数据中获取更多信息,已归档数据也开始被激活。企业领导者必须做好准备存储比以往任何时候都要多的数据,用于训练各种模型,以便挖掘重要信息;同时由于数据的使用寿命有可能会延长,也要准备归档更多数据。形成性人工智能是一种使数据变得更具洞察性的手段。Gartner将形成性人工智能定义为“一种能够动态变化以响应具体情况的人工智能”。IDC将形成性人工智能视为“各种新兴人工智能及相关技术的总称,它可以根据情况的变化而动态变化。”由于依赖于能够智能地响应变化的灵活架构,形成性人工智能与分级存储趋势紧密相关。您在监控人工智能模型时有可能会收到信号说它发生了偏离。此时,您可以使用另外一个模型在硬盘层上搜索适当的训练数据,并将这些数据自动移动到闪存层,以加快训练速度。硬盘层也可能是对象存储,因此也与对象存储发展趋势有关。其优点既在于速度(因为数据会自动移动到快速存储层),也在于成本(因为您可以将数据以易于访问的形式存储在高性价比的硬盘上,以备需要时调用)。

给企业领导者的建议:机器学习的最新创新最终释放了期待已久的人工智能潜力。现在,这些机器学习技术需要使用更大的数据集,从而提取更精确的洞察。由于机器学习的未来发展和进步难以预测,所以企业从现在开始就应该保存尽可能多的数据,以确保将来能够使用最好的训练数据来进行各种分析。

作者孙丹为希捷科技全球副总裁暨中国区总裁



责任编辑:李佳师
相关链接

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英......

2020世界超高清视频(4K/8K)产业发展大会

11月2日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2020世界超高清视频(4K/8K)产业发展大会在广州市召开。

2020世界VR产业大会云峰会

10月19日—20日,由工业和信息化部、江西省人民政府主办的2020世界VR产业大会云峰会在南昌举行。在10月19日的开幕式上,中共中央政治局委员、国务院副总理刘鹤发来书面致辞。江西省委常委、南昌市委书记吴晓军...

第三届全球IC企业家大会暨IC China2020

10月14日,由中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会、赛迪智库集成电路所承办的第三届全球IC企业家大会暨第十八届中国国际半导体博览会...

第八届中国电子信息博览会开幕论坛

本次论坛主题是“创新共享 开放合作”,将邀请政府行业主管部门、国内外著名专家学者、企业家发表主题演讲、专题交流,深入探讨在两个“百年不遇”新形势下深化创新驱动战略,实现电子信息产业高质量发展......

首届世界显示产业大会

作为工业和信息化部、中国国际贸易促进委员会、安徽省人民政府联合主办的第十三届中国(合肥)国际家用电器暨消费电子博览会的重要板块,首届世界显示产业大会于11月22日在合肥开幕。

2019世界VR产业大会

10月19日,由工业和信息化部和江西省人民政府联合主办的2019世界VR产业大会在南昌隆重开幕。开幕式上,中共中央政治局委员、国务院副总理刘鹤发表重要讲话。

第二届全球IC企业家大会暨第十七届中国国际半导体博览会

9月3日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办的第二届全球IC企业家大会暨第十七届中国国际半导体博览会在上海开幕

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2021年全国工业和信息化工作会议

今年是新中国历史上极不平凡的一年。面对严峻复杂的国际形势、艰巨繁重的国内改革发展稳定任务特别是新冠肺炎疫情的严重冲击,在以习近平同志为核心的党中央坚强领导下,全国工业和信息化系统认真贯彻落实党中央、国...

2020年第三季度中国家电市场报告

10月19日,中国电子信息产业发展研究院发布了《2020第三季度中国家电市场报告》(以下简称《报告》)。《报告》显示,今年7-9月,我国家电市场零售额规模为2102亿元,比去年同期微增1.6%。...

2020上半年中国家电市场报告

7月27日,中国电子信息产业发展研究院发布了《2020上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,今年上半年,我国家电市场零售额规模为3690亿元,比去年同期下降14.13%,作为市场...

走向我们的小康生活

2020年是决胜全面小康、决战脱贫攻坚之年,中华民族千百年来为之奋斗的梦想终将成真。小康承载初心,小康属于人民。...

中国企业数字化采购发展报告2019

随着大数据、云计算、物联网、区块链及人工智能等新技术飞速发展,数字经济时代加快到来,新冠肺炎疫情更是加速了企业数字化转型步伐,需求侧数字化加速向供给侧拓展,电子商务的驱动机制由渠道驱动向数据驱动转变,...

视频新闻丨2020第三届半导体才智大会暨“中国芯”集成电路产

9月25-26日,2020第三届半导体才智大会暨“中国芯”集成电路产教融合实训基地(南京)成立仪式成功举办。本次大会由中国电子信息产业发展研究院、南京市江北新区...

《小电开箱》第二期,和小编一起喊话智能加湿器吧

《小电开箱》是中国电子报短视频团队最新推出的系列评测类栏目,以记者亲身体验,和广大观众一起感受新款消费电子产品的魅力(以及问题)...

1分钟看懂轨道交通“新基建”

经过近些年的发展,中国已迈入城市轨道交通大国的行列,北京、上海等大城市的城市轨道交通建设在世界上处于遥遥领先的地位。根据国际公共交通联合会(UITP)统计简报,...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO