智能计算

AWS Glue在AWS中国(宁夏)区域正式上线

作者:来源:中国电子报、电子信息产业网发布时间:2020-03-24 15:08我要评论

亚马逊旗下公司Amazon Web Services, Inc. (AWS) 3月24日宣布,AWS Glue在由西云数据运营的AWS中国(宁夏)区域正式上线。AWS Glue是一种全托管的数据提取、转换和加载(ETL) 服务及元数据目录。它让客户更容易准备数据,加载数据到数据库、数据仓库和数据湖,用于数据分析。使用AWS Glue,在几分钟之内便可以准备好数据用于分析。由于AWS Glue是无服务器服务,客户在执行ETL任务时,只需要为他们所消耗的计算资源付费。

客户在使用数据湖架构实现数据分析解决方案时,通常有75%的时间花在数据集成任务上,需要从各种数据源提取数据,对其进行规范化,并将其加载到数据存储中。AWS Glue消除了ETL作业基础设施方面的所有重复劳动,让Amazon S3数据湖中的数据集可以被发现、可用于查询和分析,极大地缩短分析项目中做ETL和数据编目阶段的时间,让ETL变得很容易。

AWS Glue在从客户选择的数据源把数据爬取出来之后,会自动识别数据格式和模式(schema),构建统一的数据目录,并为客户提供所选数据的中央视图。这使得客户很容易跨越各种数据存储,检索和管理所有数据,而不必手动搬运它们。当客户从数据目录中标识出数据源(例如一个数据库表) 和数据目标(例如一个数据仓库) 时,AWS Glue将匹配相应的模式,生成可定制、可重用、可移植、可共享的数据转换代码。开发人员可以调度任意数量的ETL作业,AWS Glue则会管理其余的工作,根据客户ETL工作负载自动启用或关闭计算资源。通过简化创建ETL作业的过程,AWS Glue让客户可以构建可伸缩、可靠的数据准备平台。这些平台可以跨越数千个ETL作业,具有内置的依赖性解析、调度、资源管理和监控功能。

“AWS可扩展、可靠的云存储,加上我们广泛的分析服务,使客户比以往任何时候都更容易收集、存储、分析和共享数据,”AWS全球副总裁及大中华区执行董事张文翊表示,“随着AWS Glue在由西云数据运营的AWS中国(宁夏)区域正式上线,中国区域的客户可以轻松地从任意多的数据源传输和处理数据,整合数据到数据湖,并且可以选用多种AWS分析服务,迅速开始分析所有数据。”

当前,包括德比软件、嘉云数据、壳木软件和趣加等在内的诸多中国客户都在使用AWS Glue解决他们复杂的数据挑战。

德比软件为酒店和旅游行业提供在线销售和产品分销方面的技术和系统服务,并拥有全部产品和服务的自主知识产权。它拥有全球超过18万家酒店的数据,每月处理超过800万间夜的订单。德比软件大数据团队技术经理戴岳表示:“AWS Glue使得ETL和异构数据源的处理变得更加容易,大大降低了开发和运营成本。它非常适合于开发和启动敏捷数据项目。另外,AWS Glue的数据目录功能让我们可以轻松使用Amazon Elastic MapReduce (Amazon EMR) 来直接处理和查询Amazon S3上的数据,提高了我们的开发效率。”

北京壳木软件有限责任公司(Camel Games)是神州泰岳旗下的手机网游公司,2011 年获得了Google Play 官方颁发的Top Developer(顶尖开发者)称号。Camel Games服务器主管张华表示:“AWS Glue帮助我们完成了复杂的ETL任务,可以从数百个Amazon Relational Database Service (Amazon RDS) 数据库中定时提取所需要的数据,供数据分析部门进行迅速而直观的全局统计,大大缩短了原本跨表查询的时间”。

又讯:亚马逊旗下公司Amazon Web Services, Inc. (AWS)3月24日宣布,Amazon Athena在由西云数据运营的AWS中国 (宁夏) 区域正式上线。Amazon Athena是一种交互式查询服务,它让客户可以使用标准SQL语言、轻松分析Amazon Simple Storage Service (Amazon S3) 中的数据。由于Athena是一种无服务器服务,因此客户不需要管理基础设施,而且只为他们运行的查询付费。Athena可以自动扩展,并行执行查询,所以即便是大型数据集和复杂的查询,也能很快获得查询结果。 

AWS提供了诸如Amazon RedshiftAmazon Elastic MapReduce (Amazon EMR) 等分析服务,让各种规模的公司都可以实现PB级数据的分析。通过Amazon Redshift,客户可以对大规模的结构化数据执行复杂的查询,并获得超高速的性能。对于非结构化数据,Amazon EMR使用流行的分布式框架,例如Apache SparkPrestoHivePig,横跨多个可动态伸缩的集群,处理和分析大量数据,快速又经济。虽然这些服务是可伸缩的,而且足够强大到可以处理大且复杂的大数据应用,但是,许多客户也希望能够很快地查询Amazon S3上的数据,例如web日志、点击流、原始日志文件等,而无需开启、配置和管理Hadoop集群或数据仓库。现在,使用Athena分析Amazon S3中的数据就像编写SQL查询一样简单。Athena使用完整支持标准SQLPresto,可以处理各种标准数据格式,包括CSVJSONORCParquet。因为Athena使用多个可用区的计算资源执行查询,而且使用Amazon S3作为底层数据存储,所以它具有高可用性和持久性,数据冗余存储在多处基础设施中,并且是每处基础设施上的多个设备上。

 “客户经常问我们,是否可以让他们方便地对Amazon S3数据湖中的数据执行查询,而不用关心配置和管理服务器、集群这些事情。”AWS全球副总裁及大中华区执行董事张文翊表示,“现在,我们很高兴由西云数据运营的AWS中国(宁夏)区域推出Amazon Athena,以响应AWS中国客户的需求。Amazon Athena完全不需要管理基础设施,任何能够编写SQL查询的人都能以高性价比的方式快速分析他们在Amazon S3中的数据。”



责任编辑:李佳师
相关链接

首届世界显示产业大会

作为工业和信息化部、中国国际贸易促进委员会、安徽省人民政府联合主办的第十三届中国(合肥)国际家用电器暨消费电子博览会的重要板块,首届世界显示产业大会于11月22日在合肥开幕。

2019世界VR产业大会

10月19日,由工业和信息化部和江西省人民政府联合主办的2019世界VR产业大会在南昌隆重开幕。开幕式上,中共中央政治局委员、国务院副总理刘鹤发表重要讲话。

第二届全球IC企业家大会暨第十七届中国国际半导体博览会

9月3日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办的第二届全球IC企业家大会暨第十七届中国国际半导体博览会在上海开幕

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

“新基建新动力新增长”专题报道

中国电子报从2020年3月开始,特别策划推出“新基建新动力新增长”大型专题报道和系列推介活动,详细报道新基建在激发市场主体活力、增强发展动能、促进经济增长等方面的重要作用,权威推介在推动新基建进程中发...

2019年中国家电市场报告

2月28日,中国电子信息产业发展研究院发布了《2019年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年,我国家电市场零售额规模达到8910亿元,显示出较强的韧性,高端产品和农村市场大...

2020年全国工业和信息化工作会议

12月23日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中全会精神,认真落实中央经济工作会议部署,传达学习贯彻国务院领导同...

学习贯彻党的十九届四中全会精神

党的十九届四中全会擘画了坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化的宏伟蓝图。把思想统一到全会精神上来,把行动落实到全会的重大决策部署上来,是当前全党面临的重要政治任务和重大战略...

2019上半年中国家电市场报告发布

7月29日,中国电子信息产业发展研究院在北京发布了《2019上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年1月-6月,我国家电行业运行稳定、稳中有进,产销均高于去年同期。其中,...

未来5年新增投资超过2000亿元,AI将迎来新拐点丨新基建新

编者按:3月4日,习近平总书记在中共中央政治局常务委员会上强调,要加快5G网络、数据中心等新型基础设施建设进度。新一代信息技术是新基建的重要推动力量,以5G、人...

聚焦新基建丨120秒入门大数据中心建设

3月4日,习近平总书记在中共中央政治局常务委员会上强调,要加快5G网络、数据中心等新型基础设施建设进度。新一代信息技术是新基建的重要推动力量,以5G、人工智能、...

CEN视频新闻 | 2019 CITE 瑞萨电子高级副总裁

第七届电子信息博览会上,瑞萨电子高级副总裁 真冈朋光接受《中国电子报》记者采访。...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO