工业和信息化部主管 中国电子报社主办
联系合作投稿

半导体

英伟达AI芯片上新 传递两大信号

美国当地时间11月13日,在2023年全球超算大会(SC23)上,英伟达推出了新一代GPU H200。当日,英伟达的股价在截至收盘时间增长0.6%,为486.2美元,数据显示,英伟达创下了近7年来最长的连涨记录。这一次,英伟达将AI芯片的发展方向引向了存储和推理能力。

英伟达的新品,与早些时候英特尔和AMD透露的AI芯片发布计划呼应,AI芯片从以算力为中心的竞争向更加多样化发展。

AI芯片竞争焦点转向存储?

相比于前代H100,H200的性能提升了60%-90%,但是单看算力这一指标,H200的算力与H100基本相同,对比两者的产品规格表可以发现,实现算力不变而性能飞跃的关键点就是内存。

H100与H200规格对比
英伟达在发布H200时表示,该产品是全球首款搭载HBM3e的GPU,而H100中使用的仍是HBM3。据了解,HBM3e能够为H200提供传输速度达4.8 TB/秒的141GB显存。与前代产品、常被其他竞争者视作“计量单位”的A100 相比,其容量也翻了近乎一倍,带宽增加了2.4 倍。

AMD将发布MI300X
事实上,英伟达在AI芯片方面的挑战者AMD在几个月前就强调了AI芯片存储容量的重要性。AMD CEO苏姿丰表示,AMD即将于今年12月推出的纯GPU产品Instinct MI300X使用具备192GB显存的HBM3,带宽为5.2GB/秒。值得注意的是,AMD产品具备8个HBM3显存堆栈,而英伟达产品仅有6个。同时,AMD首个AI加速器产品MI300A也拥有多达13颗小芯片,共包含1460亿个晶体管,配置128GB的HBM3内存,相比前代的MI250,MI300A的性能提高8倍,效率提高5倍。
在英特尔方面,英特尔CEO帕特·基辛格曾在9月举行的英特尔on技术创新峰会上公布了英特尔AI芯片的路线图:到2024年,英特尔将推出采用5nm制程的Gaudi3,再下一代AI芯片代号则为Falcon Shores。Gaudi2于2022年推出,从产品规格来看,Gaudi2所使用的是6个HBM2堆栈共96GB。英特尔表示,Guadi3的算力将是前代产品Gaudi2的两倍,网络带宽、HBM容量是Gaudi2的1.5倍。

英特尔Gaudi2规格
可以看出, 在各芯片企业的推动下,AI芯片的竞逐正从初期的算力指标竞争,进一步延展到存储领域,HBM(高带宽存储)几乎成为了未来AI芯片当中必备且必争的存储器。英伟达超大规模和高性能计算副总裁Ian Buck表示:“想要通过生成式AI和HPC应用创造智能,就必须使用大型、快速的GPU显存来高速、高效地处理海量数据。”
半导体行业专家盛陵海告诉《中国电子报》记者:“从技术角度来讲,存储性能是提高AI训练能力的瓶颈,如果存储能力跟不上算力,整个模型的训练便难以高效运行;从企业角度来讲,发展存储性能也是性价比相对较高的方式之一。”据了解,当前最高规格高带宽存储器的HBM3e主要由SK海力士、三星以及美光提供。
AI芯片性能提升贵在推理?
大模型训练和推理的效率与效果是衡量GPU性能的重要指标,各大厂商也围绕着大模型训练与推理不断提升自身实力。

H200与H100的推理性能对比
H200的性能提升数据着重体现在模型推理上面。英伟达表示,H200在700亿参数的大语言模型Llama 2上的推理速度比H100提高了近一倍,功耗也会降低50%。同时,英伟达H200和H100由于都基于Hopper架构,互相之间具备强兼容性,可实现一定程度上的替换,同时英伟达透露,下一代采用全新架构的GPU B100也将于2024年推出,进一步强化训练和推理的性能。
面向训练需求,半导体厂商推出了多块芯片互连的解决方案,用以支持更大参数的模型训练。英特尔的GAUDI 2 HLBA-225支持8块Guadi2共同运行;AMD推出Instinct平台同样搭载8块MI300X,被苏姿丰称作是“人工智能推理和训练的终极解决方案”;英伟达依靠自身NV Link和NV Switch的高速互连技术,推出了HGX H200的服务器主板。英伟达称,客户可选择搭载4块或8块H200,配合Grace Hopper芯片可为各种应用工作负载提供最高的性能,包括针对1750亿参数以上超大模型的LLM训练和推理。
“从训练来看,虽有目前常说的‘百模大战’,但是其参数量和精度等还需要进一步优化,同时,专业大模型的成熟度也不比通用大模型,故而当前的主要诉求仍在大模型训练上。”盛陵海说,“而同时,未来的推理需求则逐步增加,因为人工智能的应用落地,最终还是要看推理能力。”

责任编辑:王信豪


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

2023中国电子报编辑选择奖

12月26日,“2023中国电子报编辑选择奖”获奖名单正式出炉。本次评选采用企业自荐和编辑推荐两种方式,综合考量影响力、创新性、成长性等多个维度,围绕企业、技术、产品、解决方案等赛道评出20个奖项。

2024年全国工业和信息化工作会议

12月21日,全国工业和信息化工作会议在京召开。会议坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻党的二十大和二十届二中全会精神,深入学习贯彻习近平总书记关于新型工业化的重要论述,认真落实中央经济工作会议和全国新型工业化推进大会部署要求,总结2023年工作,部署2024年任务。

深入学习贯彻党的二十大精神·工信系统在行动

当前,全国工业和信息化系统正进一步深入学习党的二十大精神,将二十大精神贯彻落实到具体举措和实际行动。为深入学习宣传贯彻党的二十大精神,中国电子报推出“深入学习贯彻党的二十大精神·工信系统在行动”专栏,通过调研采访报道各地贯彻落实党的二十大精神的具体举措、典型案例,反映各地实干担当、求真务实的精神风貌。敬请关注。

学习贯彻习近平新时代中国特色社会主义思想主题教育

学习贯彻习近平新时代中国特色社会主义思想主题教育开展以来,全国工信系统牢牢把握“学思想、强党性、重实践、建新功”的总要求,多措并举扎实推进主题教育高质量开局、高标准起步。

聚焦2023年全国两会

北京3月5日电 第十四届全国人民代表大会第一次会议5日上午在北京人民大会堂开幕。近3000名新一届全国人大代表肩负人民重托出席盛会,认真履行宪法和法律赋予的神圣职责。

世界超高清视频(4K/8K)产业发展大会

会议

2023全球数字贸易创新大赛

11月22—23日,2023全球数字贸易创新大赛总决赛在杭州举行。大赛是第二届全球数字贸易博览会重要活动之一,今年为首次举办。大赛设置人工智能元宇宙和区块链Web3.0两个赛道,吸引了近200家优秀企业及项目团队参与,其中,100余家入围半决赛,24家进入总决赛。

2023世界VR产业大会

10月19日,由工业和信息化部、江西省人民政府共同主办的2023世界VR产业大会在江西南昌开幕。江西省委书记、省人大常委会主任尹弘,工业和信息化部副部长徐晓兰,江西省委常委、南昌市委书记李红军出席开幕式并致辞。开幕式由江西省委副书记、省政府省长叶建春主持。

2023世界显示产业大会

9月7日-8日,由四川省人民政府、工业和信息化部主办的2023世界显示产业大会在四川省成都市召开。四川省委副书记、省长黄强,工业和信息化部党组成员、副部长张云明,重庆市政府党组成员、副市长江敦涛,德国联邦经济发展和对外贸易协会主席米夏埃尔·舒曼出席开幕式并先后致辞。

2023世界超高清视频产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2023世界超高清视频产业发展大会在广州召开。5月9日,广州市委副书记、市长郭永航,中央广播电视总台副台长胡劲军,国家广播电视总局副局长朱咏雷,工业和信息化部总工程师赵志国,广东省委副书记、省长王伟中出席开幕式并先后致辞。

2022世界集成电路大会

11月17日,由工业和信息化部、安徽省人民政府共同主办的2022世界集成电路大会在安徽省合肥市召开。安徽省委书记、省人大常委会主任郑栅洁出席会议。安徽省委副书记、省长王清宪,工业和信息化部党组成员、副部长王江平出席开幕式并致辞。

世界显示产业大会

本周排行