工业和信息化部主管 中国电子报社主办
联系合作投稿

技术应用

“模型热”将引发云计算与数据库行业大变革

当前,大模型引发的AI再造产业趋势已经势不可挡,对于支撑AI的底层数据库而言更是如此。“以ChatGPT为代表的超大语言模型的迅速应用将引发云计算与数据库行业的大变革。”北京酷克数据科技有限公司(简称“酷克数据”)联合创始人兼CEO简丽荣近日在接受《中国电子报》记者专访时表示。大模型热潮将改变云计算和数据库市场竞争维度,加速企业IT架构向分布式和并行化发展的趋势,这也符合“东数西算”的政策导向。同时,大模型将会推动多云化的普及,具备中立性、产品支持多云部署的独立数据库厂商将有望从中受益。

数据处理全链路将被重塑

AI大模型是基于海量多源数据打造的模型,需要通过不断地训练从大量标记和未标记的数据中捕获知识,并将知识存储到大量的参数中,以建立对各种任务进行高效处理的技术架构。它具备通用、可规模化复制等诸多优势,是实现AGI(通用人工智能)的重要方向。

“‘数据仓库’‘数据平台’和‘大模型’本质上都是为了更好地回答决策问题。从某种意义上讲,它们之间是相辅相成的。”简丽荣表示,一方面,数据仓库成熟的数据管理、清洗、并行处理技术,可以有效提升训练、微调大模型所需训练数据的处理流程;另一方面,数仓作为天然的事实数据或知识管理平台,可以为生成式AI提供正确答案所需的上下文,有效解决大模型普遍存在的“幻觉”问题。数仓和大模型的有机结合,可以更好地帮助企业实现辅助决策。

区别在于,大模型处理数据的方式明显不同于现在主流的数据仓库、数据平台。数据仓库、数据平台往往会把原始数据编制成二维表格,然后进行数据清洗、规整、补全等处理,最终通过复杂的SQL实现商业智能。而大模型则需要不断把原始文本信息用提示的方式进行投喂,让其进行深度学习,从而实现对任务的高效处理,这与传统的基于二维表格的形式存储、管理数据完全不同。

简丽荣分析称:“传统数据处理需要消耗大量人力、物力以及时间,而且有很多环节非常容易出错,如数据清洗、数据血缘分析、主数据管理、数据质量、数据治理、ETL、数据分析、数据库运维等。以ChatGPT为代表的通用人工智能模型的迅速应用,将会大幅提升数据处理全链路各个环节的自动化程度。”

比如,Text2SQL(即Text-to-SQL,指将自然语言文本转换成结构化查询语言的过程),就是借助大模型的能力,自动根据自然语言生成结构化查询语言,完成BI(商业智能)任务,提升数据工程师工作效率。

简丽荣表示:“大模型的出现,一方面,让大家开始思考如何利用模型的能力去重构数据处理全链路的各个环节,以实现更高程度的智能化、自动化;另一方面,也促使大家开始思考如何将数据仓库、数据平台的数据处理规则与大模型进行适配,从而更好地支持大模型的训练、调优、部署、推理及应用。”

云计算资源消费模式将被改变

众所周知,大模型训练的关键在于算力、数据和算法。简丽荣认为,云计算平台正是提供这三个要素最合适的平台。首先,大模型需要大量算力,特别是高端GPU;其次,需要海量的数据,特别是一些高质量的数据;此外,大模型还需要算法的支持,Model as a Service将成为一种新的PaaS服务。这些都是新的需求,也是云平台最擅长做的事。所以,大模型的出现将会非常有效地提振云计算市场。同时,拥有更强GPU算力的云厂商会更具竞争优势。

简丽荣指出,大模型的出现,将会对自然语言处理、计算机图像,甚至自动驾驶造成颠覆性的影响,改变这些领域的整个软件和硬件技术栈,从而给云计算市场带来全新的资源消费模式。

以SaaS服务为例,大模型对低代码的冲击将会非常明显。低代码(或零代码)核心价值是通过拖拉组合解决软件开发慢、门槛高的问题。然而,大模型的出现颠覆了低代码的整个开发模式。“低代码能够覆盖的应用场景是有限的,未来后台的技术栈会被大模型彻底颠覆。”简丽荣表示。

像ChatGPT之类的大模型可以通过自然语言描述直接创建应用程序,AI生成代码的速度远超人工,甚至还可以通过对话持续提出改进建议。此前,曾经估值130亿美元的AI写作工具Grammarly在ChatGPT发布后就出现了网站用户直线下降的情况。

简丽荣认为,AI应用的大规模推广实际上增加了IT行业的竞争维度,不同的企业在不同的维度上面的竞争力是不一样的。IT层会更加多元化,这自然也会推动多云的普及程度。

未来,大部分普通的非科技企业用户只需要调用云厂商提供的MaaS服务(模型即服务)来构建自己的垂类模型和应用,而一些大型企业用户出于数据安全、行业监管要求、成本、自主可控等因素,可能会更倾向于建设自己的基础平台来完成专有模型训练和推理任务。

大模型加速数据库分布化和并行化

伴随“模型热”的兴起,庞大的数据量带来了存储和计算资源的压力,这要求数据库本身紧密跟云计算技术结合,通过元数据、计算和存储层解耦,从而充分发挥云平台的弹性和扩展能力。

简丽荣认为,在大模型爆发的背景下,数据库需要提供可以横向的并发访问能力、多范式的数据处理分析能力(包括支持声明式语言SQL,过程式语言Python/R,图计算、全文检索、流式计算、高性能计算、机器学习和人工智能)和海量异构数据(结构化数据、半结构化数据、非结构化数据以及实时数据)的存储管理能力。

在这种趋势下,基于云原生架构的数据仓库将成为未来数据库行业发展的重要方向,而大中型企业考虑到高可用以及议价能力等因素,通常会选择多云部署的模式。

“这种趋势对我们做多云数据库的企业也有明显影响,用我们的核心产品HashData云数仓为例,设计之初,我们对多云部署场景的考虑是通过将系统的不同组件解耦,降低对特定接口的依赖,方便对接各种开放的云平台,满足企业数据在不同云平台流转的需求。”简丽荣说,“我们现在在开发增强HashData数据仓库支持向量数据存储和处理检索能力的功能组件,再结合云数仓的高扩展性、高可用和高弹性,实现更好地支撑和扩展大模型的应用场景。”简丽荣表示。

与此同时,分布式和并行化潮流将进一步加速。“大模型的应用将进一步加速数据库行业的分布式和并行化潮流,而且在一个更深更广的层面上进行分布式和并行化。”简丽荣表示,“更深指的是更多异构的算力资源需要并行化,包括CPU、GPU、DPU等,更广指的是类似‘东数西算’工程,这些都要求数据系统能够更好地提供共享和协作能力。”

此外,除了类似ChatGPT一样的To C的形态外,大模型在企业级市场将更多地以个性化、独立部署的形态出现,也就是说各行各业甚至同一家企业不同的部门都会有各自的大模型实例,类似行业专家。在这样的背景下,需要在数据库内核集成深度学习和大模型的能力。

“无论是数据分析全链路的各个环节还是数据库自身的运维工作,都非常耗时和依赖经验,我们正在尝试利用大模型训练数据库领域的专家系统,期望提升数据分析和数据库智能运维能力,实现在数据库范围内有类似于‘自动驾驶’一样的功能。”简丽荣表示。

责任编辑:宋婧


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

2023中国电子报编辑选择奖

12月26日,“2023中国电子报编辑选择奖”获奖名单正式出炉。本次评选采用企业自荐和编辑推荐两种方式,综合考量影响力、创新性、成长性等多个维度,围绕企业、技术、产品、解决方案等赛道评出20个奖项。

2024年全国工业和信息化工作会议

12月21日,全国工业和信息化工作会议在京召开。会议坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻党的二十大和二十届二中全会精神,深入学习贯彻习近平总书记关于新型工业化的重要论述,认真落实中央经济工作会议和全国新型工业化推进大会部署要求,总结2023年工作,部署2024年任务。

深入学习贯彻党的二十大精神·工信系统在行动

当前,全国工业和信息化系统正进一步深入学习党的二十大精神,将二十大精神贯彻落实到具体举措和实际行动。为深入学习宣传贯彻党的二十大精神,中国电子报推出“深入学习贯彻党的二十大精神·工信系统在行动”专栏,通过调研采访报道各地贯彻落实党的二十大精神的具体举措、典型案例,反映各地实干担当、求真务实的精神风貌。敬请关注。

学习贯彻习近平新时代中国特色社会主义思想主题教育

学习贯彻习近平新时代中国特色社会主义思想主题教育开展以来,全国工信系统牢牢把握“学思想、强党性、重实践、建新功”的总要求,多措并举扎实推进主题教育高质量开局、高标准起步。

聚焦2023年全国两会

北京3月5日电 第十四届全国人民代表大会第一次会议5日上午在北京人民大会堂开幕。近3000名新一届全国人大代表肩负人民重托出席盛会,认真履行宪法和法律赋予的神圣职责。

世界超高清视频(4K/8K)产业发展大会

会议

2023全球数字贸易创新大赛

11月22—23日,2023全球数字贸易创新大赛总决赛在杭州举行。大赛是第二届全球数字贸易博览会重要活动之一,今年为首次举办。大赛设置人工智能元宇宙和区块链Web3.0两个赛道,吸引了近200家优秀企业及项目团队参与,其中,100余家入围半决赛,24家进入总决赛。

2023世界VR产业大会

10月19日,由工业和信息化部、江西省人民政府共同主办的2023世界VR产业大会在江西南昌开幕。江西省委书记、省人大常委会主任尹弘,工业和信息化部副部长徐晓兰,江西省委常委、南昌市委书记李红军出席开幕式并致辞。开幕式由江西省委副书记、省政府省长叶建春主持。

2023世界显示产业大会

9月7日-8日,由四川省人民政府、工业和信息化部主办的2023世界显示产业大会在四川省成都市召开。四川省委副书记、省长黄强,工业和信息化部党组成员、副部长张云明,重庆市政府党组成员、副市长江敦涛,德国联邦经济发展和对外贸易协会主席米夏埃尔·舒曼出席开幕式并先后致辞。

2023世界超高清视频产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2023世界超高清视频产业发展大会在广州召开。5月9日,广州市委副书记、市长郭永航,中央广播电视总台副台长胡劲军,国家广播电视总局副局长朱咏雷,工业和信息化部总工程师赵志国,广东省委副书记、省长王伟中出席开幕式并先后致辞。

2022世界集成电路大会

11月17日,由工业和信息化部、安徽省人民政府共同主办的2022世界集成电路大会在安徽省合肥市召开。安徽省委书记、省人大常委会主任郑栅洁出席会议。安徽省委副书记、省长王清宪,工业和信息化部党组成员、副部长王江平出席开幕式并致辞。

世界显示产业大会

本周排行