工业和信息化部主管 中国电子报社主办
联系合作投稿

人工智能

Meta开源Llama 2,大模型“安卓时刻”要来了?

这两天,大模型混战再起波澜。Meta公布最新大模型Llama 2,包含70 亿、130 亿和 700 亿三种参数类型,可免费用于商业或者研究。同时,Meta 宣布与微软云服务Azure 合作开发基于Llama 2 模型的云服务,将进一步加速生成式人工智能技术的普及和大模型相关应用的落地。此外,高通也宣布与Meta合作,优化Llama 2在移动终端的执行。未来,Llama 2有望应用于各种领域,包括智能手机、汽车座舱和物联网终端等。此次开源,被认为是大模型发展的又一个“里程碑”,引发业界高度关注。

据介绍,相比于Llama 1 预训练模型1.4 万亿的训练token 数,Llama 2 预训练模型的训练数据提升了40%至2 万亿,且针对聊天用例进行的Chat 模型精调训练数据超过100 万人类标记数据,使用人类反馈进行强化学习从而提高模型安全性。此外,对于大模型非常重要的上下文长度限制,Llama 2 比Llama1 翻了一倍至4096 字符,能处理更多信息。Llama 2 模型在大多数基准测试中表现优于其他开源模型,包括编码、推理、知识、精通性测试等。不仅如此,Meta对实用性和安全性进行评估,认为Llama 2 有希望成为闭源模型的替代品。

目前,Meta已在GitHub上开源了Llama 2预训练模型的代码和参数,并允许研究人员进行探索。同时,Meta也开放了Llama 2的商业使用许可,为基于Llama 2的大模型产品的涌现打开了大门。业内专家普遍认为,Llama 2 开放开源免费使用,将加速大模型生态构建。

Meta CEO马克·扎克伯格将Llama 2称为大模型的“次世代”产品。他表示:“这是我们开源大语言模型的下一代产品。开源推动了创新,因为它让更多的开发者能够使用新技术。同时,软件开源意味着更多的人可以审查它,识别并修复可能存在的问题,从而提高了安全性。我相信如果生态系统更加开放,将会释放更多的进步,这就是我们开源Llama 2的原因。”

美国斯坦福大学基金会模型研究中心主任Percy Liang 表示,像Llama 2 这样强大的开源模型会对 OpenAI 构成相当大的威胁。尽管Meta 在其研究论文中承认,Llama 2 仍与GPT-4 存在较大的性能差距。“但对于许多应用场景来说,你不需要 GPT-4。”Percy Liang 表示,相较于一个庞大、复杂的专有模型,一个更可定制、更透明的模型——比如Llama 2,可能会帮助公司更快地创造产品和服务。

据了解,目前已有不少企业正在考虑将基础模型替换为Llama2。Meta副总裁、人工智能部门负责人杨立昆公开表示,Llama 2将改变大语言模型市场的格局。“Meta此次推出开源且可商业化的Llama 2大模型,背后的目的其实是为了建立一个类似安卓这样的开放的生态系统。”一位大模型创业公司的专家对记者分析说道:“以开源的方式吸引大批开发者,建立生态系统,不仅能让Llama2实现快速迭代,还能帮助Meta借此机会建立自己的技术壁垒,在目前的模型之争中抢占优势。不过这并不容易,最终生态是否能够成功搭建起来,还是要看市场和用户的选择。”

值得一提的是,一些大模型普遍面临的问题在Llama2上依然存在。比如Meta 没有公布用于训练 Llama 2 的数据集的信息,也不能保证其中不包含受版权保护的作品或个人数据。另外,Llama 2 同样存在产生虚假事实和攻击性语言的倾向等问题。

不过,如果将GPT的诞生比作大模型的“iPhone时刻”,那么这次Meta Llama 2的开源无疑将成为大模型的“安卓时刻”。曾经,开源让安卓阵营得以与iPhone分庭抗礼。今天,开源究竟能否让大模型走向生态开放的新阶段,让我们拭目以待。

责任编辑:宋婧


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

2023中国电子报编辑选择奖

12月26日,“2023中国电子报编辑选择奖”获奖名单正式出炉。本次评选采用企业自荐和编辑推荐两种方式,综合考量影响力、创新性、成长性等多个维度,围绕企业、技术、产品、解决方案等赛道评出20个奖项。

2024年全国工业和信息化工作会议

12月21日,全国工业和信息化工作会议在京召开。会议坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻党的二十大和二十届二中全会精神,深入学习贯彻习近平总书记关于新型工业化的重要论述,认真落实中央经济工作会议和全国新型工业化推进大会部署要求,总结2023年工作,部署2024年任务。

深入学习贯彻党的二十大精神·工信系统在行动

当前,全国工业和信息化系统正进一步深入学习党的二十大精神,将二十大精神贯彻落实到具体举措和实际行动。为深入学习宣传贯彻党的二十大精神,中国电子报推出“深入学习贯彻党的二十大精神·工信系统在行动”专栏,通过调研采访报道各地贯彻落实党的二十大精神的具体举措、典型案例,反映各地实干担当、求真务实的精神风貌。敬请关注。

学习贯彻习近平新时代中国特色社会主义思想主题教育

学习贯彻习近平新时代中国特色社会主义思想主题教育开展以来,全国工信系统牢牢把握“学思想、强党性、重实践、建新功”的总要求,多措并举扎实推进主题教育高质量开局、高标准起步。

聚焦2023年全国两会

北京3月5日电 第十四届全国人民代表大会第一次会议5日上午在北京人民大会堂开幕。近3000名新一届全国人大代表肩负人民重托出席盛会,认真履行宪法和法律赋予的神圣职责。

世界超高清视频(4K/8K)产业发展大会

会议

2023全球数字贸易创新大赛

11月22—23日,2023全球数字贸易创新大赛总决赛在杭州举行。大赛是第二届全球数字贸易博览会重要活动之一,今年为首次举办。大赛设置人工智能元宇宙和区块链Web3.0两个赛道,吸引了近200家优秀企业及项目团队参与,其中,100余家入围半决赛,24家进入总决赛。

2023世界VR产业大会

10月19日,由工业和信息化部、江西省人民政府共同主办的2023世界VR产业大会在江西南昌开幕。江西省委书记、省人大常委会主任尹弘,工业和信息化部副部长徐晓兰,江西省委常委、南昌市委书记李红军出席开幕式并致辞。开幕式由江西省委副书记、省政府省长叶建春主持。

2023世界显示产业大会

9月7日-8日,由四川省人民政府、工业和信息化部主办的2023世界显示产业大会在四川省成都市召开。四川省委副书记、省长黄强,工业和信息化部党组成员、副部长张云明,重庆市政府党组成员、副市长江敦涛,德国联邦经济发展和对外贸易协会主席米夏埃尔·舒曼出席开幕式并先后致辞。

2023世界超高清视频产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2023世界超高清视频产业发展大会在广州召开。5月9日,广州市委副书记、市长郭永航,中央广播电视总台副台长胡劲军,国家广播电视总局副局长朱咏雷,工业和信息化部总工程师赵志国,广东省委副书记、省长王伟中出席开幕式并先后致辞。

2022世界集成电路大会

11月17日,由工业和信息化部、安徽省人民政府共同主办的2022世界集成电路大会在安徽省合肥市召开。安徽省委书记、省人大常委会主任郑栅洁出席会议。安徽省委副书记、省长王清宪,工业和信息化部党组成员、副部长王江平出席开幕式并致辞。

世界显示产业大会

本周排行