服务

两服务上线,AWS数据湖方案进一步丰满

作者:李佳师来源:中国电子报、电子信息产业网发布时间:2020-03-25 13:33我要评论

“过去,数据来了像一个小河,我们知道河大概有多少水,于是设计河道、闸门来处理使用数据。但是今天的互联网时代,数据呈爆炸增长,一下子涌出来,很难掌握数据的性质,数据像洪水猛兽,要规则整理存储数据于数据库里,需要花很多时间,在这样的背景下,我们找到一大片湿地、洼地,把所有数据就像湖水一样、洪水一样先蓄在这里。”AWS首席云计算企业战略顾问张侠用小河与湿地、湖泊来讲述传统数据与数据湖之间的差异。有了数据湖就可以非常容易地快速缩放数据,然后有各种各样的工具来方便查询数据,进行各种各样的分析。

3月24日AWS中国宣布在西云数据运营的AWS中国(宁夏)区域推出两个重磅的数据分析服务AWS Glue和Amazon Athena,这使得AWS的数据湖解决方案拼图进一步完善。

在数据经济时代,传统的数据库、数据仓库的方法越来越难以满足,爆炸、快速增长的数据挖掘价值需求。“一方面,其设计思路始于常见的企业级单体/核心应用,与大数据特征和环境不匹配;另一方面,无法有效应对数据的快速增长,支持各种数据类型和分析需求。”张侠表示,基于此数据湖越来越受到青睐。

所谓数据湖,就是一个集中式的、安全的存储库,它依托云计算的技术和基础设施,允许企业或机构以任意规模,存储所有的结构化和非结构化数据。客户可以按原样存储数据,无需先对数据进行结构化处理;可以对这些数据运行不同类型的分析,从数据仪表板和可视化数据展现,到大数据处理、实时分析和机器学习,指导客户做出更好的决策。

事实上,在今天我们想象到的各类大数据分析场景中,数据湖框架都是基础架构体系的“唯一正解”。从客户市场服务方面的消费者细分、商品门类分析、客户忠诚度/流失率分析,金融风控领域的异常交易/欺诈侦测、各种风险评估预警,企业市场活动中的价格分析、需求预测,到医疗领域的疾病传播模式、药物发现等,包罗万象。

2006年,AWS发布Amazon S3,引发云计算革命。十多年来,AWS逐渐将Amazon S3发展成云上数据湖的核心,并围绕Amazon S3陆续开发出一系列数据湖相关服务,构建了一套完整的云端大数据分析体系。

比如,通过面向大数据处理的Amazon EMR,用户可在AWS上轻松运行Spark、Hadoop、Presto、Hbase等大数据分析;对应实时数据分析这一分析框架的重要组成部分,Amazon Kinesis可支持用户轻松地实时收集、处理并分析视频和流数据;数据湖还可以与机器学习和人工智能结合,通过Amazon SageMaker开展更多自动化的预测性分析,充分释放大数据的潜能。

就像张侠所言,当我们有了数据湖,我们需要各种各样的工具来对“湖”中不同类型、不同需求的数据进行抓取、调用,来快速实现数据的分析和挖掘,释放数据价值。而这次3月24日宣布上线的两项服务:AWS Glue和Amazon Athena让AWS的数据湖的工具链进一步完善,让AWS的数据湖解决方案大拼图越渐丰满。

据介绍,AWS Glue是一种全托管的数据提取、转换和加载(ETL)服务及元数据目录,实现了数据分析准备工作的自动化,让客户从准备数据到开始分析的时间由几个月缩短到几分钟。由于AWS Glue是无服务器服务,客户在执行ETL任务时,只需要为他们所消耗的计算资源付费。

Amazon Athena是一种交互式查询服务,它让客户可以使用标准SQL语言、轻松分析Amazon S3中的数据,几秒钟内便可获得查询结果。

据了解,目前AWS的分析组建涵盖了数据移动、数据存储、数据湖、分析和机器学习五大维度,基于AWS的整个大数据分析全景图中,绝大多数服务目前都已在中国落地。针对各类现代应用和大数据分析场景,各行各业的用户都可以在AWS上快速构建,通过各种产品方案组合匹配需求。

AWS全球副总裁及大中华区执行董事张文翊表示,“客户经常问我们,是否可以让他们方便地对Amazon S3数据湖中的数据执行查询,而不用关心配置和管理服务器、集群这些事情。现在,我们很高兴由西云数据运营的AWS中国(宁夏)区域推出Amazon Athena,以响应AWS中国客户的需求。Athena完全不需要管理基础设施,任何能够编写SQL查询的人都能以高性价比的方式快速分析他们在Amazon S3中的数据。”“AWS可扩展、可靠的云存储,加上我们广泛的分析服务,使客户比以往任何时候都更容易收集、存储、分析和共享数据。随着AWS Glue在由西云数据运营的AWS中国(宁夏)区域正式上线,中国区域的客户可以轻松地从任意多的数据源传输和处理数据,整合数据到数据湖,并且可以选用多种AWS分析服务,迅速开始分析所有数据。”

客户对于AWS的数据分析解决方案也给出了使用反馈。茄子快传是一家全球化的互联网科技公司,累计有18亿用户。茄子快传搭建了一个数字内容连接入口,帮助全球200多个国家和地区的用户获取优质数字内容。茄子快传数据运营负责人何诚表示,“茄子快传的数据量大,分析维度多,业务也非常复杂,所以经常需要多维度多颗粒度的高并发分析,AWS的分析工具很好地满足了我们日常的数据提取和分析需求。使用Amazon Athena,我们可以轻松地运行交互式查询,分析数据,不必构建和部署额外的集群。同时,我们运行新数据分析所需的时间缩短了30%,大幅减少了成本与运维方面的风险。”

大宇无限是一家专门从事移动应用程序开发的公司,主要为中东、东南亚和拉丁美洲等新兴市场提供移动短视频服务。大宇无限平台技术负责人李睿表示,“每个月,我们的业务运营都需要花费大量人力,分析全球十亿用户的海量数据。使用Amazon Athena交互式查询服务之后,我们可以用SQL语言直接在 Amazon S3 中轻松查询、分析用戶数据,节省了成本,减轻了运营压力,普通的工程师与业务部门人员都可以方便地自助查询各类业务数据,极大地提高了生产效率。


责任编辑:李佳师
相关链接

首届世界显示产业大会

作为工业和信息化部、中国国际贸易促进委员会、安徽省人民政府联合主办的第十三届中国(合肥)国际家用电器暨消费电子博览会的重要板块,首届世界显示产业大会于11月22日在合肥开幕。

2019世界VR产业大会

10月19日,由工业和信息化部和江西省人民政府联合主办的2019世界VR产业大会在南昌隆重开幕。开幕式上,中共中央政治局委员、国务院副总理刘鹤发表重要讲话。

第二届全球IC企业家大会暨第十七届中国国际半导体博览会

9月3日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办的第二届全球IC企业家大会暨第十七届中国国际半导体博览会在上海开幕

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

“新基建新动力新增长”专题报道

中国电子报从2020年3月开始,特别策划推出“新基建新动力新增长”大型专题报道和系列推介活动,详细报道新基建在激发市场主体活力、增强发展动能、促进经济增长等方面的重要作用,权威推介在推动新基建进程中发...

2019年中国家电市场报告

2月28日,中国电子信息产业发展研究院发布了《2019年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年,我国家电市场零售额规模达到8910亿元,显示出较强的韧性,高端产品和农村市场大...

2020年全国工业和信息化工作会议

12月23日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中全会精神,认真落实中央经济工作会议部署,传达学习贯彻国务院领导同...

学习贯彻党的十九届四中全会精神

党的十九届四中全会擘画了坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化的宏伟蓝图。把思想统一到全会精神上来,把行动落实到全会的重大决策部署上来,是当前全党面临的重要政治任务和重大战略...

2019上半年中国家电市场报告发布

7月29日,中国电子信息产业发展研究院在北京发布了《2019上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年1月-6月,我国家电行业运行稳定、稳中有进,产销均高于去年同期。其中,...

未来5年新增投资超过2000亿元,AI将迎来新拐点丨新基建新

编者按:3月4日,习近平总书记在中共中央政治局常务委员会上强调,要加快5G网络、数据中心等新型基础设施建设进度。新一代信息技术是新基建的重要推动力量,以5G、人...

聚焦新基建丨120秒入门大数据中心建设

3月4日,习近平总书记在中共中央政治局常务委员会上强调,要加快5G网络、数据中心等新型基础设施建设进度。新一代信息技术是新基建的重要推动力量,以5G、人工智能、...

CEN视频新闻 | 2019 CITE 瑞萨电子高级副总裁

第七届电子信息博览会上,瑞萨电子高级副总裁 真冈朋光接受《中国电子报》记者采访。...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO