工业和信息化部主管 中国电子报社主办
收藏本站投稿

人工智能

全球最大智能模型“悟道2.0”发布

6月1日,由北京智源人工智能研究院(以下简称智源研究院)主办的2021北京智源大会在北京中关村国家自主创新示范区会议中心开幕。

会开幕式上,北京市副市长靳伟、科技部战略规划司司长许倞出席并致辞。在大会开幕式上,智源研究院发布了全球最大的超大规模智能模型“悟道2.0”。在为期三天的会议中,智源研究院还将发布支持AI创业的“源创计划”,以及为海内外青年AI科研人员提供学术交流平台的“青源会”等工作计划或建设成果。

本次大会邀请到200余位国内外人工智能领域的顶尖专家参会,包括2018年图灵奖得主Yoshua Bengio(约书亚·本吉奥),2017年图灵奖得主David Patterson(大卫·帕特森),2017年欧洲大脑奖得主Peter Dayan(彼得·达扬),清华大学国家金融研究院院长朱民博士,北京大学鄂维南院士,加州大学伯克利分校人工智能统计中心创始人Stuart Russell(斯图尔特·罗素),自动驾驶之父Sebastian Thrun(塞巴斯蒂安·特龙),计算可持续性领域开创者Carla Gomes(卡拉·戈梅斯),艾伦人工智能研究所(AI2)首席执行官Oren Etzioni(欧伦·艾佐奥尼),微软亚洲研究院副院长刘铁岩,清华智能产业研究院首席科学家马维英等。参会专家将围绕人工智能领域的前沿研究进展及趋势开展深入研讨。

大会围绕国际人工智能学术前沿和产业热点设置了“预训练模型”“机器学习”“群体智能”“人工智能的数理基础”“智能体系架构与芯片”“精准智能”“智能信息检索与挖掘”“青源学术年会”“AI创业”“AI制药”“AI系统”“AI开放与共享”“AI科技女性”等29个专题论坛。议题范围非常丰富,从AI基础研究、跨界融合到产业应用,给学者、工程师、技术人员提供了一个交换和活跃想法的平台。

在6月1日的开幕式上,图灵奖得主Yoshua Bengio、清华大学国家金融研究院院长朱民博士,北京大学鄂维南院士分别围绕逻辑分析系统System2、数据资产、科学与智能做主旨报告。

在这次开幕式上,智源发布了全球最大的超大规模智能模型“悟道2.0”,智源研究院理事长张宏江介绍了“悟道”模型研发的背景。他认为,目前,“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义,未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于“发电厂”,将数据,也就是“燃料”,转换为智能能力,驱动各种AI应用。如果将大模型和所有的AI应用相连接,为用户提供统一的智能能力,全社会将形成一个智能能力生产和使用的网络,即“智网”。大模型就是下一个AI的基础平台,是未来AI发展的战略基础设施。

目前,国际主流的大模型主要基于英文语料研发,智源研究院作为AI基础建设的先行者,成立了由智源研究院学术副院长唐杰教授领衔,100多位科研骨干共同参与的“悟道”团队,启动面向中文的大规模智能模型研发工作。“悟道”模型系统将构建“大模型、大平台、大生态”,持续研发超大规模智能模型,围绕大模型研发,构建大规模算力平台,同时对外开放模型能力,“赋智”各行业发展,构建大模型生态。今年3月20日,智源研究院发布了中国首个超大规模智能模型“悟道1.0”,训练出中文、多模态、认知、蛋白质预测等系列模型。经过不到3个月的持续更新迭代,“悟道2.0”实现了更高层面的跨越。

开幕式上,智源研究院学术副院长唐杰教授介绍了“悟道2.0”模型的具体情况。他提到,“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能,让机器能够像人一样思考,实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作,形成了自主的超大规模智能模型技术创新体系,拥有从预训练理论技术到预训练工具,再到预训练模型构建和最终模型测评的完整链条,从技术上是完整成熟的。通过一系列原始创新和技术突破,本次发布的“悟道2.0”实现了“大而聪明”,具备大规模、高精度、高效率的特点。

全球最大万亿参数,新一代FastMoE补齐万亿模型最后一块短板。“悟道2.0”模型的参数规模达到1.75万亿,是GPT-3的10倍,打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。

开创性的研发FastMoE技术,是打破国外技术瓶颈,实现“万亿模型”基石的关键。以往,由于Google万亿模型的核⼼技术MoE(Mixture of Experts)与其分布式训练框架和其定制硬件强绑定,绝大多数人无法得到使用与研究的机会。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统,具有简单易用、灵活、高性能等特点,并且支持大规模并行训练。新一代FastMoE,支持Switch、GShard等复杂均衡策略,支持不同专家不同模型,为万亿模型实现方案补上了最后⼀块短板,让梦想终成现实。

“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据,以及Pile数据集的1.2TB英文文本数据。

另外,“悟道2.0”模型一统文本与视觉两大阵地,支撑更多任务,更加通用化。

责任编辑:李佳师


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

新思想引领新征程·红色足迹

党的十八大以来,习近平总书记在地方考察调研时多次到访革命纪念地,强调要从中国革命历史、优良传统和精神中汲取养分。追寻红色足迹,感悟初心使命。即日起,本报推出“新思想引领新征程·红色足迹”专栏,跟随习近平总书记的红色足迹,访当事人、忆当年事,重温总书记的重要论述和重要指示精神,生动回顾红色圣地光荣的革命历史、优秀的革命传统...

聚焦2021年全国两会

3月5日,第十三届全国人民代表大会第四次会议在北京人民大会堂开幕。党和国家领导人习近平、李克强、汪洋、王沪宁、赵乐际、韩正、王岐山等出席,栗战书主持大会。初春的北京,处处生机盎然。第十三届全国人民代表大会第四次会议5日上午在人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。

2021年全国工业和信息化工作会议

12月28-29日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中、五中全会精神,认真落实习近平总书记重要指示批示精神和中央经济工作会议部署,总结2020年工业和信息化工作,分析形势,部署2021年重点工作。工业和信息化部党组书记、部长肖亚庆作工作报告。

2020年中国家电市场报告

3月22日,中国电子信息产业发展研究院发布了《2020年中国家电市场报告》(以下简称《报告》)。《报告》显示,2020年,我国家电市场零售额规模达到8333亿元,在疫情冲击之下显示出较强的韧性;电商渠道对家电零售的贡献率首次超过50%,网络零售对家电消费的促进作用进一步提升;高端产品、生活家电大幅增长,有效促进了消费升级和产业转型。

世界超高清视频(4K/8K)产业发展大会

会议

2021世界超高清视频(4K/8K)产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2021世界超高清视频(4K/8K)产业发展大会在广州召开。5月9日,广东省委书记李希出席开幕式,工业和信息化部部长肖亚庆、广东省省长马兴瑞、国家广播电视总局副局长孟冬、中央广播电视总台编务会议成员姜文波出席开幕式并致辞。

CITE2021第九届中国电子信息博览会开幕论坛

4月9日,第九届中国电子信息博览会(简称CITE2021)在深圳举办。深圳市人民政府市长陈如桂、广东省人民政府副秘书长陈岸明、工业和信息化部电子信息司司长乔跃山出席开幕式并先后致辞。

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

2020世界超高清视频(4K/8K)产业发展大会

11月2日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2020世界超高清视频(4K/8K)产业发展大会在广州市召开。广东省委书记李希出席开幕式,省长马兴瑞出席并致辞。国家广播电视总局局长聂辰席、工业和信息化部副部长王志军、中央广播电视总台副台长蒋希伟出席开幕式并致辞。

2020世界VR产业大会云峰会

10月19日—20日,由工业和信息化部、江西省人民政府主办的2020世界VR产业大会云峰会在南昌举行。在10月19日的开幕式上,中共中央政治局委员、国务院副总理刘鹤发来书面致辞。江西省委常委、南昌市委书记吴晓军,工业和信息化部副部长王志军,江西省委书记、省人大常委会主任刘奇先后致辞。开幕式由江西省委副书记、省长易炼红主持。

世界显示产业大会

本周排行