工业和信息化部主管 中国电子报社主办
收藏本站投稿

信息消费

青云推出面向海量非结构化数据的统一存储平台QingStor U10000

随着数字经济深入发展,数据已上升为与土地、劳动力、资本、技术并列的生产要素。如何让海量数据体现更多的价值已成为行业关注的焦点。

对此,青云科技存储产品总监冯相东向记者表示,当前,数字经济时代,海量数据已体现出两个重要的特征:一是不管是产生数据的终端数量还是产生的数据量级,和十几年前比,均出现指数级增长。二是自动驾驶、物联网、AR、5G场景背后所产生的数据类型主要以非结构化数据为主,包括图片、音频、视频以及一些日志类的数据。

“海量数据持续增加,越来越多的人意识到简单地把这些海量数据存起来,其实并没有发挥这些数据的价值,或者说静止的数据是没有多少价值可言的,必须让数据流动起来,让数据完整地或者相对完整地经历生命周期的不同阶段,在不同阶段为数字化业务产生不同的价值,才能充分挖掘整个数据的价值。”冯相东强调。

在数据流动的完整链条里,从最初的采集、处理到后面的归档、再利用、销毁,都会涉及到存储与大数据技术、存储与 AI 计算技术的结合,这能让数据更高效地被捕获、被索引、被分析和被加工,从而实现数据层面的点石成金。这也是青云存储这些年一直在努力研究的一个方向。

青云深耕存储领域,形成专业和自研两大特点。

关于专业,是指专业存储服务专业场景。目前青云存储经过产品的演进,QingStor产品线主要由两款核心产品构成:一是 QingStor NeonSAN,二是 QingStor U10000。QingStor NeonSAN面向的是结构化数据的高性能业务场景的需求,主要面向的场景是云盘、数据库以及虚拟化存储资源池场景的应用。QingStor U10000是面向非结构化海量数据存取和利用的业务场景的需求,主要包括各种影像数据、音视频数据、数据湖、大数据、物联网等场景。产品设计初衷就是帮助客户更好实现海量数据的价值挖掘,产品的核心特点包括:同时提供对象、文件、大数据接口,不同协议之间实现数据无损访问互通;单存储桶支持 100 多亿个对象,并且性能不会随之下降。

“两款产品有各自面向的专业场景,有各自专业的分工,我们没有用一种架构同时满足结构化和非结构化的数据场景。因为从专业技术的视角来看,存储架构是没有银弹的,没有哪一种架构能同时做到既能满足极致的性能设计要求,也能满足海量数据吞吐、计算、并发利用的需求,这样的结构是不存在的。青云希望通过专业的存储分工更好地服务专业的场景。”冯相东指出。

自研是青云存储的第二大特点。青云存储 QingStor 的两款核心产品全都是自主设计的,没有继承任何开源的架构。另外,自主研发使得技术百分百可控,不存在技术盲区。

值得一提的是,QingStor U10000这款产品是青云在多年存储技术积累基础上的一次产品全面升级。其继承了之前青云对象存储、文件存储的所有能力,并且在多个维度上实现了产品力的增强和迭代(青云存储之前主要包括QingStor块存储 NeonSAN、QingStor对象存储、QingStor文件存储)。因此,QingStor U10000其实并不是一款全新的产品,而是青云整个存储产品线针对非结构化数据,基于对象、文件存储上的一次产品全面升级。

“QingStor U10000的定位是面向海量非结构化数据的统一存储平台,帮助客户把数据存得稳、算得快、管得好。QingStor U10000相比于之前的QingStor对象存储和文件存储,除了产品力的全面继承,在一些主要领域实现了明显的提升,例如实现数据协议的互通,功能和性能得到了增强,强化了与算力平台的对接等。”冯相东告诉记者。

据介绍,QingStor U10000具备支撑海量数据存储的能力,同时保证提供卓越的性能。QingStor U10000在保证线性扩展和高性价比EC集群的基础上,还能为通用场景,包括海量小文件场景提供卓越的I/O性能。比如,单桶单目录能支持百亿级小文件存储,并且能做到性能不衰减。在技术层面,QingStor U10000采用比较流行的技术语言——Rust语言,给予存储性能安全方面更优的保障。

在多协议无损互通方面,QingStor U10000在技术层面提供了统一的索引架构,并且基于统一的索引架构提供多种层次的能力。这就是说,基于对象接口存进来的数据,基于NFS/SMB存进来的数据,或者通过HDFS大数据专用协议存进来的数据,QingStor U10000都是基于统一的索引架构提供这些数据的元数据管理。另外还提供了多协议存储接口供选择,而协议互通也让数据分析更为高效。

在算力的无缝对接方面,得益于多年的积累,QingStor U10000具备丰富的数据处理的功能特性,能够提供一系列完善的API、SDK,可以轻松地对接大数据平台、数据处理的框架和服务,实现数据和算力的高效结合。

最后,数据安全也不容忽视,QingStor U10000通过元数据和存储数据的分层设计、多重访问安全机制、智能预警机制、功能服务的运维监控平台等多个维度保障数据安全。




责任编辑:徐恒


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

聚焦2022年全国两会

北京3月5日电 第十三届全国人民代表大会第五次会议5日上午在北京人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。人民大会堂万人大礼堂气氛隆重热烈,主席台帷幕正中的国徽在鲜艳的红旗映衬下熠熠生辉。

2021年中国家电市场报告

3月3日,中国电子信息产业发展研究院(又称赛迪研究院) 发布了《2021年中国家电市场报告》(以下简称《报告》)。《报告》显示,2021年,我国家电市场全面复苏,零售规模达到8811亿元,同比增长5.7%,整体基本恢复至疫情前2019年的水平。

落实工作会精神 推动高质量发展

2022年要聚焦制造强国和网络强国建设目标,把工业稳增长摆在最重要的位置,统筹推进强链补链、技术攻关、数字化转型和绿色低碳发展,加大对中小企业支持,提升信息通信服务供给能力。工业和信息化部政务新媒体“工信微报”推出“落实工作会精神 推动高质量发展”栏目,刊发工信系统2022年工作新思路,敬请关注。

2022年全国工业和信息化工作会议

12月20日,全国工业和信息化工作会议在北京以视频形式召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届历次全会精神及中央经济工作会议精神,认真贯彻落实党中央、国务院决策部署,总结2021年工作,分析当前形势,部署2022年重点任务。

新思想引领新征程·红色足迹

党的十八大以来,习近平总书记在地方考察调研时多次到访革命纪念地,强调要从中国革命历史、优良传统和精神中汲取养分。追寻红色足迹,感悟初心使命。即日起,本报推出“新思想引领新征程·红色足迹”专栏,跟随习近平总书记的红色足迹,访当事人、忆当年事,重温总书记的重要论述和重要指示精神,生动回顾红色圣地光荣的革命历史、优秀的革命传统...

世界超高清视频(4K/8K)产业发展大会

会议

2021世界VR产业大会云峰会

10月19日—20日,由工业和信息化部和江西省人民政府共同主办的2021世界VR产业大会云峰会在南昌举办。国务委员王勇出席大会开幕式并发表讲话,江西省委书记易炼红,工业和信息化部副部长王志军,江西省委常委、南昌市委书记李红军出席开幕式并致辞。

2021世界显示产业大会

6月17日,由工业和信息化部、安徽省人民政府共同主办的2021世界显示产业大会在合肥市开幕。安徽省委书记李锦斌出席开幕式并宣布大会开幕,安徽省省长王清宪、上海合作组织秘书长弗拉基米尔·诺罗夫、工业和信息化部副部长王志军出席开幕式并先后致辞。

2021世界超高清视频(4K/8K)产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2021世界超高清视频(4K/8K)产业发展大会在广州召开。5月9日,广东省委书记李希出席开幕式,工业和信息化部部长肖亚庆、广东省省长马兴瑞、国家广播电视总局副局长孟冬、中央广播电视总台编务会议成员姜文波出席开幕式并致辞。

CITE2021第九届中国电子信息博览会开幕论坛

4月9日,第九届中国电子信息博览会(简称CITE2021)在深圳举办。深圳市人民政府市长陈如桂、广东省人民政府副秘书长陈岸明、工业和信息化部电子信息司司长乔跃山出席开幕式并先后致辞。

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

世界显示产业大会

本周排行