物联网

下一代高性能网络需要突破哪些关键技术?

作者:来源:发布时间:2019-11-07 17:37我要评论

大数据时代带来的数据流动性,对承担数据流动的网络技术带来了新挑战。近日,腾讯云对下一代高性能网络技术进行了揭秘。

数据中心网络带宽演进的三个阶段

随着5G、AI、云计算的普及和场景应用,越来越多的设备被连接,数据洪流随时随地产生和分享,对网络架构和处理数据的能力提出了新需求,而腾讯云对于高性能网络软件架构的思考,也经历了数据中心网络带宽演进的三个阶段:

第一阶段,公有云数据中心的服务器接入带宽在2014年从千兆迈入万兆。这个阶段所有的网络虚拟化软件通过内核模块实现, 通过横向扩展来满足网关的性能需求, 由于内核框架本身性能的局限性,实现的性能指标今天看起来很差,但是能够满足当时的客户诉求。

第二阶段,2017年随着视频行业和游戏加速行业的兴起,云网络逐步开始从10G向25G迁移,这些行业上云对虚拟化网络提出了百万级别稳定的包处理能力需求,对VM的网络互访时延及时延的稳定性要求也更加苛刻。

在这种背景下, 虚拟化网络的技术突破点是DPDK,整个虚拟网络的架构并没本质变化,只是虚拟网络软件用dpdk重新实现,提升了单台机器的性能。

第三阶段,预计到2020年底公有云数据中心的服务器接入带宽即将达到100G。主要驱动力来自于虚拟化密度的提升。事实上,在今年底已有196核的CPU面世,虚拟化密度直接翻倍,可预期的未来,4HT的技术会出现,虚拟化密度会继续大幅度提升,对网络基础设施架构的能力会带来非常大的挑战。

显然,不同的网络带宽时代,对虚拟化网络的软件架构会有不一样的要求。尤其是随着腾讯内部自研业务的大量上云,内网互访流量非常的大,overlay访问underlay的支撑服务流量可以百T计,大流量的冲击下,集中式网关的资源问题和scale能力成为一个非常大的问题。

下一代腾讯云高性能网络技术两大突破口

对于腾讯云来说,下一代高性能网络技术突破有两个:超稳虚拟化平台、网关的演进。乍一看,两者似乎关系不大,但想要搭建下一代高性能网络技术就像是建房子,超稳虚拟化平台是支撑房子的地基,而网关则是贯穿房子墙面的的钢筋骨架。

“网络架构的元素会简化,要减少集中式网关的使用,核心是边界的高性能网关,以及高性能稳定的虚拟化底层平台”,金峰现场说道。

金峰表示,超稳虚拟化平台,腾讯云内部有一个专门的云基项目去支撑。这个项目对网络虚拟化,存储虚拟化和计算虚拟化都做了大量的重构和优化,计算虚拟化大幅度优化KVM性能损耗,为社区贡献了超过100个核心patch,在全球的互联网厂商中都名列前茅,可以保证在大多数场景下实现虚拟化相比物理机单核性能损耗在5%以内。

网络虚拟化优化了各种不同场景的处理性能,不局限于优化快转表的性能,对于纯粹的包转发模式也做了大量的查询匹配优化,性能能做到2M PPS以上,此外vswitch可以自动判断每个数据包应该采用的转发模式,分别使用包转发,基于软件的快转表转发,和基于硬件的快转表转发,为每种不同场景提供最适合的转发模式来保障性能。云基项目支撑的高稳虚拟化平台在腾讯内部的自研上云业务中大规模使用,支撑了QQ,微信等核心业务的苛刻性能要求。值得一提的,业界支撑自研上云大多使用baremetal方案,腾讯云完全用虚拟化支撑了核心业务的自研上云。

有了超稳虚拟化这个扎实的房子地基,作为“钢筋骨架网络”的网关就可以持续演进,表现在三个方面:1、业务网关NFV;2、内部服务去网关;3、边界网关硬件化。

首先,基于超稳的虚拟化平台,腾讯云可以将LB, NAT等业务网关放在虚拟化平台上,复用虚拟化平台本身的资源池优势,无感知调度迁移,高性能网络,优先级QOS等能力,保障自身的性能和稳定性。此外集中式网关变为分散的虚拟化网关,故障域大大缩小,对整体的可用性也有很大的收益。

其次,去除物理网关。对于用户访问对象存储,数据库等基础服务,此前会有一个有状态网关来做overlay-underlay转换,自研上云之后,几百T的内网带宽让这种集中式有状态网关的成本和可用性难以承受,将overlay和underlay的边界从网关移到每台提供基础服务的物理服务器上,每台物理服务器插入一个内核模块,提供VPC的被动访问接入能力。

第三,就是边界网关的硬件化,腾讯云已经在和一些合作伙伴进行这方面的预研,一台硬件网关可以提供5-10个100G软件网关集群提供的性能,在大网络吞吐时代对于边界网关的规模可控具有非常大的意义。

金峰表示,除了VPC网络之外,100G网络当前最大的场景来自于大数据、AI带来的低延迟高吞吐网络需求,这对于RDMA网络有非常强烈的诉求。

腾讯云采取VPC overlay + rdmaunderlay双网络的方式来承载基于GPU direct的AI多机训练业务;目前100G rdma网络已经在腾讯的云上GPU算力平台上得到应用,服务了腾讯内部的诸多AI类业务。

“下一代的高性能网络,腾讯云期望是一个结构简单的网络,它并不一定是绝对数值最好的,但是一定是对客户有保障的,能够满足客户各种不同场景的性能和可用性诉求”,腾讯云IAAS专家工程师金峰总结道。


责任编辑:徐恒
相关链接

2019世界VR产业大会

10月19日,由工业和信息化部和江西省人民政府联合主办的2019世界VR产业大会在南昌隆重开幕。开幕式上,中共中央政治局委员、国务院副总理刘鹤发表重要讲话。

第二届全球IC企业家大会暨第十七届中国国际半导体博览会

9月3日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办的第二届全球IC企业家大会暨第十七届中国国际半导体博览会在上海开幕

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

数字经济前沿论坛-CITE2018第六届中国电...

为贯彻落实党的十九大精神,充分展示新一代信息技术产业最新发展成就,促进产业核心技术突破,加快形成数字经济新动能,引领信息技术产业供给侧改革,工业和信息化部、深圳市人民政府将于2018年4月9日-11日在深圳市共 ...

2019上半年中国家电市场报告发布

7月29日,中国电子信息产业发展研究院在北京发布了《2019上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年1月-6月,我国家电行业运行稳定、稳中有进,产销均高于去年同期。其中,...

壮丽70年 奋斗新时代

70年来,中国共产党人从未停下“赶考”脚步。神州大地上,一幅幅壮丽的发展画卷在描绘,一部部感天动地的奋斗史诗在书写。...

2019打造制造业“双创”升级版

围绕制造业“双创”升级的内涵本质、发展趋势、实践启示等方面,邀请政府部门及事业单位领导、两院院士及专家学者、重点地区及企业领导等撰写相关文章,共同探讨制造业“双创”发展新路径。...

聚焦2019全国两会

3月3日电 凝聚共识谱写时代华章,共商国是同绘复兴宏图。中国人民政治协商会议第十三届全国委员会第二次会议3日下午在人民大会堂开幕。...

MWC2019世界移动大会报道

MWC,世界移动通信大会。主办方全球移动通信系统协会(GSMA)成立于1987年,是世界移动通信界的三大国际组织之一,目前其成员已包括来自220个国家的近800家移动运营商以及230多家更为广泛的移动...

CEN视频新闻 | 2019 CITE 瑞萨电子高级副总裁

第七届电子信息博览会上,瑞萨电子高级副总裁 真冈朋光接受《中国电子报》记者采访。...

视频新闻丨院士专家畅谈智能网联汽车

3月19日,慕尼黑上海电子展前夕,新能源与智能网联汽车创新发展论坛在上海举办,论坛邀请了30多为海内外行业人士,近35场精彩发言,围绕新能源和智能网联两大领域展...

两会专访丨全国政协委员、新大陆科技集团总裁王晶

2019年全国“两会”期间,全国政协委员、新大陆集团总裁王晶在接受《中国电子报》记者采访时表示:传统农村需要发挥信息技术和互联网的载体和引擎作用,促进农业生产、...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO