工业和信息化部主管 中国电子报社主办
收藏本站投稿

人工智能

AI大模型真香,浪潮开源“源1.0”的背后

自从OpenAI在去年6月份发布的GPT-3之后,大模型成为几乎所有全球头部AI公司的逐鹿目标。在昨天举行的2021人工智能计算大会(AICC 2021)上,关于产业层面的大新闻是浪潮人工智能研究院宣布其9月份开发出全球最大规模的中文AI巨量模型“源1.0”开源开放,此举给大模型的逐鹿再添一把火。

模型的参数规模越大,优势越明显?

最近大模型为什么走热,先要从OpenAI讲起。OpenAI是由来自硅谷、西雅图等地的诸多科技大亨联合建立的人工智能非营利组织,这些大佬们给OpenAI的首期投资是10亿美金,而这个组织的发起人之一,是“钢铁侠”马斯克。2015年,马斯克与其他硅谷、西雅图科技大亨进行连续对话后,决定共同创建OpenAI,希望能够预防人工智能的灾难性影响,推动人工智能发挥积极作用,OpenAI的目标,是要制造“通用”机器人,或者称之为“通用人工智能”。2019年7月,微软也给OpenAI投资了10亿美元。次年6月,OpenAI研发出GPT-3语言模型,而且在三个月后又将这个GPT-3模型独家授权给微软。

最近微软CEO萨提亚对微软首席技术官凯文谈及未来对微软研究院的期待,萨提亚给出了三个期望,其中之一便是AI“大模型”。

那么,这个GPT-3又有什么魔力呢?作为最先进的语言模型,GPT-3包括1750亿个参数(而其前身GPT-2的参数为15亿个),从而击败了之前保持记录的图灵NLG模型(170亿)。参数多有什么意义?浪潮人工智能研究院首席研究员吴韶华回应记者说:“其关键原因在于OpenAI的GPT-3凸显了一种小样本学习以及泛化能力,而且两个层面的能力都非常优秀。”

吴韶华进一步解释,泛化能力是指模型训练一次,而来的大模型就可用于各种各样的任务,哪怕这些任务之间没有任何关联。而要理解小样本学习,需要先了解传统的模型训练范式。传统范式是首先要预训练得到一个基础模型,基础模型做完之后,需要针对具体任务再做微调,这意味着如果一个企业有各种各样的任务,就得有各种繁多的模型。“大模型最重要的优势,是进入大规模可复制的产业落地阶段,只需小样本的学习,也能达到比以前更好的效果,而且模型参数规模越大,这种优势越明显,可大大降低各类用户的开发使用成本。”吴韶华说。

模型的参数规模越大,优势越明显。正因为如此,头部AI企业正在不断地追逐大模型之“大”,不久前,微软与英伟达宣布双方合作的语言模型MT-NLG的参数为5300亿个。

中国工程院院士王恩东表示:“人工智能如何发展出像人类具备逻辑、意识和推理的认知能力,是人工智能研究一直探索的方向。目前来看,通过大规模数据训练超大参数量的巨量模型,被认为是非常有希望实现通用人工智能的一个重要方向。”随着巨量模型的兴起,巨量化已成为未来人工智能发展非常重要的一个趋势。而巨量化的一个核心特征就是模型参数多、训练数据量大。

工智能从专用到通用,模型做精更好?

目前,美国在大模型领域已经取得较快进展,代表性的进展有谷歌的Bert,OpenAI的GPT-3等。正当模型参数朝着越来越无穷大的方向迈进之时,OpenAI的CEO宣布其大模型的下一个GPT-4,其参数不会比GPT-3的更多,而是更少,因为GPT-4将使用与之前GPT模型不同的方法,包括数据算法和微调,这其中的重点是在较小的模型中获得最大的收益。

是不是模型越大越好?吴韶华认为,模型的核心并不是越大越好,其本质是人工智能正在向通用人工智能的方向演进,其核心是从专用人工智能向通用人工智能发展。在寻求更接近于通用人工智能的道路上,不同的公司、不同的科学家们,正在寻找更接近的路径。

目前国内的企业与机构同样在大模型路上蠢蠢欲动。今年6月,阿里巴巴宣布其多模态通用大模型M6问世,模型参数是万亿级;几个月后的云栖大会上,阿里巴巴宣布其大模型M6的参数已经从原来的万亿级上升到10万亿级,规模超越此前谷歌发布的1.6万亿Switch Transformer模型。与此同时,北京智源人工智能研究院宣布推出大模型“悟道2.0”,智源研究院表示,悟道2.0具备大规模、高精度、高效率的特点。在规模上,“悟道2.0”的参数达到1.75万亿,是OpenAI GPT-3的10倍。

9月28日,浪潮人工智能研究院宣布推出的大模型“源1.0”,10月27日浪潮宣布“源1.0”开源。按照介绍,“源1.0”是全球最大中文预训练语言模型,历时四个月研发,其参数量为2457亿,训练数据集规模达到5000GB。相比GPT3模型的1750亿参数量和570GB训练数据集,“源1.0”的参数规模增加了40%,训练数据集规模增加近10倍。

当浪潮的大模型出来,必然引来相关争议,究竟阿里、智源与浪潮之间的模型究竟谁更大?业内资深认识表示,阿里与智源的大模型属于混合模型,而浪潮的模型为单体模型也称巨量模型,而GPT-3就是单体巨量模型。这两者有本质区别。单体巨量模型其最核心、最有潜力的能力在于零样本学习能力和小样本学习能力,巨量模型是让AI发展有了机会越阶升级,是一次升维,可以通过训练它找到更高层次的东西,触碰到更高阶的智能世界。一直以来,浪潮的优势是AI算力,现在浪潮也推大模型,加入AI大模型的赛道,这是要从底层算力到上层算法、模型通吃AI市场的节奏吗?未来,浪潮在AI领域的边界在哪里?

回应《中国电子报》记者的这一问题,浪潮信息副总裁、浪潮信息AI&HPC产品线总经理刘军说,“浪潮既不会画地为牢地局限自己,也不会天马行空地不顾边界。”

刘军谈及了浪潮在两个层面的思考与诉求,一是从产业发展的层面看,需要产品不断去满足客户、满足市场、满足应用需要的发展。这个层面要做非常严谨的商业计划和商业推敲、严格的产品规划和营销策略规划,还包括如何去满足客户的需求的实现路径。

二是从科研创新、科学探索方向上,可以更加大胆一点,这个大胆核心来源于科学家们、研究员们的好奇心、好胜心,希望做充满兴趣的东西,在科学和探索的领域里面,鼓励大家去有更多的想象空间。

“之所以选择做源,不仅仅是因为大模型是AI产业的重要制高点,更因为它对产业的发展有帮助,是一个交叉点;而且从浪潮的策略、优势和能力储备来说,很适合做。因为要做好大模型,其实是算力、算法、数据三架马车协同的创新。”刘军说。

在大模型的赛道上,算力公司、算法公司、数据公司,研究机构正在展开新一轮竞赛。如果说大模型竞争的前半程是模型本身,那么后半程的竞争则是商业落地,而落地的关键是生态和用户,这正是浪潮将其开源的原因,开源以赢得更多的生态支持。目前,前半程才刚刚开始,后半程谁会跑得更快呢,是阿里还是浪潮或是其他,等待时间给出答案。

责任编辑:李佳师


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

2021年上半年中国家电市场报告

8月9日,中国电子信息产业发展研究院(又称赛迪研究院)发布了《2021年上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,2021年上半年,我国家电市场加速回暖,零售额达4293亿元,同比增长16.3%;家电消费进一步向线上迁移,电商渠道对家电零售的贡献率达53.65%;家电产品均价普遍提升,高端家电销售热度不减,有效促进了消费升级...

新思想引领新征程·红色足迹

党的十八大以来,习近平总书记在地方考察调研时多次到访革命纪念地,强调要从中国革命历史、优良传统和精神中汲取养分。追寻红色足迹,感悟初心使命。即日起,本报推出“新思想引领新征程·红色足迹”专栏,跟随习近平总书记的红色足迹,访当事人、忆当年事,重温总书记的重要论述和重要指示精神,生动回顾红色圣地光荣的革命历史、优秀的革命传统...

聚焦2021年全国两会

3月5日,第十三届全国人民代表大会第四次会议在北京人民大会堂开幕。党和国家领导人习近平、李克强、汪洋、王沪宁、赵乐际、韩正、王岐山等出席,栗战书主持大会。初春的北京,处处生机盎然。第十三届全国人民代表大会第四次会议5日上午在人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。

2021年全国工业和信息化工作会议

12月28-29日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中、五中全会精神,认真落实习近平总书记重要指示批示精神和中央经济工作会议部署,总结2020年工业和信息化工作,分析形势,部署2021年重点工作。工业和信息化部党组书记、部长肖亚庆作工作报告。

世界超高清视频(4K/8K)产业发展大会

会议

2021世界VR产业大会云峰会

10月19日—20日,由工业和信息化部和江西省人民政府共同主办的2021世界VR产业大会云峰会在南昌举办。国务委员王勇出席大会开幕式并发表讲话,江西省委书记易炼红,工业和信息化部副部长王志军,江西省委常委、南昌市委书记李红军出席开幕式并致辞。

2021世界显示产业大会

6月17日,由工业和信息化部、安徽省人民政府共同主办的2021世界显示产业大会在合肥市开幕。安徽省委书记李锦斌出席开幕式并宣布大会开幕,安徽省省长王清宪、上海合作组织秘书长弗拉基米尔·诺罗夫、工业和信息化部副部长王志军出席开幕式并先后致辞。

2021世界超高清视频(4K/8K)产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2021世界超高清视频(4K/8K)产业发展大会在广州召开。5月9日,广东省委书记李希出席开幕式,工业和信息化部部长肖亚庆、广东省省长马兴瑞、国家广播电视总局副局长孟冬、中央广播电视总台编务会议成员姜文波出席开幕式并致辞。

CITE2021第九届中国电子信息博览会开幕论坛

4月9日,第九届中国电子信息博览会(简称CITE2021)在深圳举办。深圳市人民政府市长陈如桂、广东省人民政府副秘书长陈岸明、工业和信息化部电子信息司司长乔跃山出席开幕式并先后致辞。

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

2020世界超高清视频(4K/8K)产业发展大会

11月2日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2020世界超高清视频(4K/8K)产业发展大会在广州市召开。广东省委书记李希出席开幕式,省长马兴瑞出席并致辞。国家广播电视总局局长聂辰席、工业和信息化部副部长王志军、中央广播电视总台副台长蒋希伟出席开幕式并致辞。

世界显示产业大会

本周排行