技术与标准丨数据中心无损网络关键技术研究
作者简介
王少鹏
中国信息通信研究院云计算与大数据研究所数据中心研究部高级业务主管，工程师，从事数据中心相关的技术研究、行业咨询和标准制定等工作。
郑常奎
中国信息通信研究院云计算与大数据研究所数据中心研究部助理工程师，从事数据中心网络相关的技术研究、测试评估等工作。
芦 帅
中国信息通信研究院云计算与大数据研究所数据中心研究部助理工程师，从事数据中心网络的技术研究、测试评估等工作。
郭 亮
中国信息通信研究院云计算与大数据研究所副总工程师，高级工程师，从事数据中心相关的政策支撑、技术研究、标准制定等工作。
论文引用格式：
王少鹏, 郑常奎, 芦帅, 等. 数据中心无损网络关键技术研究[J]. 信息通信技术与政策, 2021,47(10):68-74.
数据中心无损网络关键技术研究
王少鹏 郑常奎 芦帅 郭亮
（中国信息通信研究院云计算与大数据研究所，北京 100191）
摘要：通过对传统数据中心网络面临的各种问题进行分析，阐述了AI、Server SAN等场景对网络的需求，介绍了无损网络在应对上述场景时的优异表现，并在流控机制、拥塞控制和负载均衡等方面对无损网络的关键技术进行了进一步阐述，也对无损网络发展进行了展望。
关键词：数据中心；无损网络；关键技术
中图分类号：TN927.23 文献标识码：A
引用格式：王少鹏, 郑常奎, 芦帅, 等. 数据中心无损网络关键技术研究[J]. 信息通信技术与政策, 2021,47(10):68-74.
doi：10.12267/j.issn.2096-5931.2021.10.014
0 引言
各种应用程序、数据的指数级增长，以及云服务的快速普及等因素，导致由孤立的单体系统构成的传统基础架构变得过时。基础架构的融合成为数据中心的根本转变，融合或超融合基础架构应运而生，其将计算、存储、网络和虚拟化组合构建成一个统一架构，以便简捷高效地配置和横向扩展。在网络方面，以太网成为现代数据中心实际采用的互联方式。基于以太网的统一网络架构用于传输各种类型的通信流，为这种融合奠定了基础。虽然这种统一和融合式网络有着诸多好处，但也带来了新的挑战。
由于传统数据中心网络在数据传输中采取“尽力而为”的方法，以太网络是“有损”的。当以太网络发生拥塞时，数据包会被丢弃，然后由上层（如TCP中的重新传输）保障数据的完整性。在重新传输的情况下，这些数据包通常不按顺序抵达目的地，进而需要重新排序。随着数据流汇聚到以太网络上，这种重新传输和重新排序将导致应用程序的性能严重下降[1]。考虑到融合性质，这种情形还可能会导致网络上的其他数据流的应用性能下降。因此，需要一套措施来确保流量在以太网网络上实现无损传输。
1 传统网络问题分析
无论是构建公有云，还是用作企业云服务的私有数据中心，都需要解决一组常见的问题：如何为快速变化的环境构建一个高度灵活的组网，以承载多种类型的流量，从而使网络可以最小化，甚至消除丢包损失；在提供高吞吐量的同时，保持低延迟。数据中心流行的CLOS网络架构通过等价多路径实现无阻塞性能，并拥有弹性，交换机之间的连接方式使其具有可扩展、简单、标准和易于理解等优点[2]。在CLOS网络中，机架顶部的交换机被称作叶交换机，它们连接在被当作核心的脊交换机上。叶交换机之间互不相连，而脊交换机只与叶交换机连接。目前，数据中心已经采用了很多技术，试图解决拥塞控制问题。尽管拥塞控制有所改善，但仍不能为今后的使用场景提供无损的网络，以下问题仍然存在。
1.1 等价多路径冲突
通过散列流标识符来选择路径，这样的做法很简便，但缺乏考虑路径本身是否拥塞。如图1所示，很容易发生多个流被散列到相同的路径上的情况，从而导致链路过载。此外，流量的大小通常呈双模态分布：大多数的流是老鼠流，而大部分传输字节则来自大象流。ECMP选择路径时不会考虑流量的大小，而对ECMP的改善应该涉及选择路径时的拥塞感知和细粒度的流量负载均衡。
1.2 显性拥塞通知的控制环路延时大型的网络拥有更多的跳数，因此ECN控制回路的往返时间（Round-Trip Time，RTT）会更长。大型的网络也会支撑更多的数据传输，在ECN生效前很难处理突发流量。通过增加交换机缓存去处理突发流量是不可取的，因为这样不仅会增加成本，也会增加那些正常流的排队时间。端到端的拥塞控制对有序的网络至关重要，但为确保网络可以有效地避免丢包损失，额外的帮助也同样重要。
1.3 基于优先级的流控引起的队头阻塞PFC是一种避免丢包的技术，但这一技术应该作为最后的手段使用。当交换机的某一个出口发生拥塞时，数据被缓存到备份里，并同时调用PFC。由于PFC会阻止特定等级的所有流量，所以流向其他端口的流量也有可能会被阻隔,这种现象被称为队头阻塞。为了避免队头阻塞，很有必要去尽早识别引起拥塞的流，并提供针对流特征（一般引起拥塞的流通常是大象流）的拥塞缓解技术。
队头阻塞可能会引起上游的额外阻塞。由于PFC隔离了所有流，包括那些发往没有拥塞路径的流。这使得所有流必须在上游交换机处排队，产生的队列延时反过来又会引起上一个上游交换机的拥塞。如果上游交换机的缓存被填满，一个新的PFC信息会被调用并发送到网络，循环往复，造成更多的队头阻塞和拥塞现象，这被称为拥塞扩散。
1.4 多打一场景下的拥塞CLOS架构在未来数据中心新场景下存在丢包、时延、吞吐等多方面的挑战，这些挑战主要来自many-to-one流量模型和all-to-all流量模型。流量模型many-to-one有时候也被称为Incast流量模型。在高度并行的云应用中，Incast是一个很自然发生的现象，它被证明是数据中心大部分丢包产生的原因。
图2是many-to-one流量模型示例。在这个示例中，leaf1、leaf2、leaf3 和 spine1、spine2、spine3形成一个无阻塞的Tier-2 CLOS网络。流量从server1到server5、从server7到server5、从server9到server5，形成一个many-to-one，这里是3打1，整网无阻塞，只有leaf2向server5的方向出端口方向buffer是瓶颈。
2 数据中心无损网络应用场景分析
数据中心里的应用和存储架构需要不断地进化，以满足日益增长的对实时和交互的数字技术的要求，业界主流热门的应用场景均对数据中心提出了越来越高的要求。
2.1 在线数据密集型服务在线数据密集型服务和线下的通信（如MapReduce计算）之间最根本的区别在于，在线数据密集型服务需要对高速率涌进的请求做出立即回答。对此，延迟是一个关键问题，终端的用户体验高度依赖于系统的响应，即使是一个少于1 s的适度延时也会对个人查询以及相关的广告收入带来可观的影响。而且使用云作为决策源和信息源的系统先天性地拥有一大部分不可避免的延时，这给数据中心的内部响应时间带来更大的压力。为了处理延迟问题，在线数据密集型服务将单个请求同时分配部署在几千个服务器上，并把这些服务器的响应进行协调和叠加以形成最优的推荐和答案。
2.2 深度学习深度学习是机器学习的一个分支，人类日常生活中的语音识别和图像识别由大型神经网络掌控，通过对百万级，甚至十亿级参数的训练形成模型，并集成到在线服务中。一旦模型建立，一些复杂的任务例（如社交网络过滤、欺诈和异常识别等）都可以毫不费力地被执行。深度学习网络也可以被抽象成一个有百万量级神经元互联的大脑，网络的规模越大、模型参数越多，网络的工作表现通常会越好。现如今的深度学习网络可以拥有数十亿级的参数和百万级的互联。
深度学习模型不断地被训练和优化，伴随着这一持续过程的一个挑战是高昂的通信成本。大量的数据不断地被共享，如果发生同步延时，计算过程就会被拖延，而网络通常被认为是引起延时的原因。在训练过程中，网络里使用的训练服务器先天地存在Incast问题，因为集群几乎是在同一时间返回结果，Incast场景会导致在连接参数服务器的交换机处产生拥塞，从而带来丢包损失和同步延时。由于更多的节点需要更多的通信请求，所以更多的并行处理可能会增加延时，增加网络拥塞。在网络有损情况下，数据拷贝会引入延迟抖动、拥塞丢包等性能损失，造成处理器空闲等待数据，并拖累整体并行计算性能，导致无法通过简单增加处理器数量来提升整体计算性能。
2.3 NVMe over FabricsNon-Volatile Memory Express（NVMe）是一种存储通信接口和规范，它基于固态硬盘（Solid-State Driver，SSD）提供了一套低延迟、内部并发化的接口规范。NVMe快速可靠的特点十分适用于未来云数据中心的高并行环境。全闪存阵列（All-Flash-Arrays，AFA）需要NVMe访问网络，因而需要极低的延迟，以形成竞争优势。
在融合基础架构数据中心中，NVMe over Fabrics被指定基于UDP运行在RoCEv2上，或者基于TCP运行在iWARP上。当网络检测到拥塞时，ECN指示符会被标记在数据包上，接收端收到后就会通知发送端降低发送速率，以避免丢包损失。如果信息的往返时间太长，丢包损失仍然不可避免，而丢包则需要重新传输，这将严重降低NVMe存储的访问速度。基于有损网络的存储云化，因为网络存在拥塞丢包、延迟抖动、故障倒换而严重影响NVMe存储云化的效果。
2.4 分布式并行系统为了使大规模云服务能满足实时交互的延迟要求，应用和存储必须分而治之。目前，有太多的数据需要处理，而数据的真正价值在于能否快速地被提炼出有用的信息。高性能分布式并行计算，本质上是网络性能要向内存访问看齐（见图3）。在有损网络下，数据拷贝会引入延迟抖动、拥塞丢包等性能损失，造成处理器空闲等待数据，并拖累整体并行计算性能，导致无法通过简单增加处理器数量来提升总体计算性能。分布式系统里的并行性取决于同步信息和参数分布，信息传递时，由于Incast和混乱流，网络流量模型会先天性地引起拥塞，如果不加以管控，拥塞就会导致网络的全面损失：丢包损失、延迟损失和吞吐损失。
高性能传输技术的产生，40 G/100 G/400 G以太网和RDMA等高性能的网络技术的快速发展，可以很好地替代原先昂贵的专属存储网络。如何利用网络将计算资源和存储资源结合起来，并进行统一的管理和协同操作，提供具有低时延和高带宽的互联网络，对于提升资源利用效率和满足应用程序的性能需求具有重要的实际意义。
2.5 Server SAN在过去的很长一段时间内，CPU的发展速度是普通机械硬盘的几十万倍，对于低速的存储介质磁盘来说，存储网络带来的影响相对不明显。因此，在低速存储盛行时期，集中式的存储部署架构被广大企业所接受，并保持很长时期的主要地位。近年来，“软件定义”概念的兴起，闪存技术的应用，正在改变这一趋势。Server SAN可以用标准的x86服务器和高速通用网络来搭建实现一个更高性价比的系统。
Server SAN的网络相比于传统存储网络具有更高的要求，如在时延和带宽上要能够配合存储的需求，减小处理器到存储的时间。利用现有的技术，通过组建各种子网的方式，如高性能子网、大数据子网和元数据子网等，可以很好地满足不同业务的需求。Server SAN的需求也推动了网络技术的快速发展，从低延时、高带宽的传输网络，到智能网卡的出现以及融合网络技术的发展。但是，大型的网络企业更多地希望能够利用现有的低成本的网络技术来解决网络传输过程中遇到的性能瓶颈问题。
3 数据中心无损网络的关键技术
3.1 流控机制现在市面上有很多不同架构的交换机，如果这些交换机的入口端和出口端缺少协调，那么将很难用这些交换机去搭建一个无损的网络环境。通常路由器会在入口队列采用PFC机制，也就是当入口端的缓存区存满时，PFC会被激发并反馈到上游邻近交换机[3]。然而，在Incast场景中，由于缺少入口端和出口端之间的协调，在入口端的各个队列达到阈值之前，出口端的队列就已经溢出。
虚拟输入队列（Virtual Input Queuing，VIQ）是一种协调出口端可用资源和入口端需求资源以用来传输数据的方法。利用VIQ，出口端将可用缓存告知入口端，以避免交换机内部带来的丢包损失，数据包可以自然地备份在入口端处，如果需要，PFC也可以适当地被采用。VIQ可以被抽象成一种模型，也就是在入口端有一个协调所有入口端的专有队列，用于公平地、有计划地去共享利用离开交换机的流量。VIQ具有避免交换机内部由于拥塞所引起的丢包损失的优点。此外，VIQ建模可以使流量公平有序地离开交换机，是实现无损的基础之一。
3.2 拥塞控制网络拥塞会引起数据包在网络设备中排队甚至导致队列溢出而丢弃，是导致网络高动态时延的主要原因。网络拥塞从根源上可以分为两类，一类是由于流量调度不均引起的拥塞，另一类是对网络或接收端处理能力过度订阅（或称“超卖”）。前面所说的ECMP冲突属于前者，Incast拥塞属于后者。拥塞控制技术根据其应对拥塞的时机不同，可以分为被动拥塞控制和主动拥塞控制两类。
被动拥塞控制包括传统TCP拥塞控制技术，如CUBIC[4]，数据中心中改进的TCP拥塞控制技术如DCTCP[5-6]，应用于RDMA协议的拥塞控制技术如DCQCN、Timely[7]，交换机进行拥塞反馈的拥塞控制技术如 QCN[8]等。尽管它们拥塞反馈的方式不同，有些是基于丢包，有些是基于ECN，有些是基于时延，但一个共同的特点是发送端根据网络的拥塞反馈信号，对发送速率进行调节。这类技术由于实现简单、易于部署被广泛使用，但通常被认为存在拥塞反应滞后、控制回环时间长、容易引起吞吐率振荡、速率收敛慢、误伤老鼠流等问题，因此有很大的优化空间。
主动拥塞控制是相对比较新的拥塞控制技术，成熟的应用还比较少。主要技术是网络设备或接受端直接建议或指导发送端发送速率的方式，比如RCP（Rate Control Protocol）[9]，接收端驱动的基于信誉的速率控制技术等。主动拥塞控制能有效解决被动拥塞控制拥塞反应滞后和速率收敛慢等问题，同时也给解决Incast拥塞等网络顽疾带来了曙光。主动拥塞控制技术展现了解决拥塞问题的新思路，是有前景的新型拥塞控制技术，但也存在准确建议速率确定困难，实现机制相对复杂，引入额外的信令开销等问题。
值得注意的是，被动拥塞控制和主动拥塞控制并不是两类互斥的技术，它们存在优势互补，可以结合使用。数据中心无损网络对这两类技术各自的优化研究和它们之间的组合研究提出了需求。动态虚拟通道（Dynamic Virtual Lanes，DVL）是拥塞隔离的一个工具，拥塞隔离可以消除因过度使用PFC所造成的队头阻塞。DVL识别出引起拥塞的流，并把它们隔离到单独的流量类别，然后向上游邻居发送信号让它执行相同操作。相比于端到端的控制环路需要一定时间才能生效，DVL可以有效地将拥塞暂时移开。
图4描述了DVL的实施过程。当流量在交换机的出口端发生冲突时，该方法会检测到冲突并识别违规流，来自违规流的后续数据包将被引向一个拥塞流的专有队列（即被有效地移出），一旦拥塞流队列到达阈值，DVL将会向上游邻近交换机发送拥塞隔离包（Congestion Isolation Packet，CIP）。CIP包含足够的信息可以让上游交换机识别出该拥塞流，上游交换机同样也会隔离该拥塞流，并监控拥塞流队列的深度。来自拥塞流的数据包被传输的优先级要低于非拥塞流队列，如果拥塞一直持续，拥塞流队列就会被填满，在这种情况下，采用DVL的交换机会利用VIQ去协调拥塞流队列和入口端。同时，当拥塞流队列填满时，入口端也会发出PFC以避免丢包。流量控制只会阻塞拥塞流队列，而其他未拥塞的流量则可以由非拥塞流队列自由通过。
3.3 负载均衡在以Clos架构为代表的网络架构中，由于源节点和目的节点间有多条路径，因此存在两节点间的流量如何在多条路径上分发的问题，即负载均衡问题。如前所述，流量调度不均是引起网络拥塞的一大重要根源，因此负载均衡技术一直是业界关注的重点技术[9]。
负载均衡技术存在丰富的设计空间，主要可以从三个维度去考虑：第一个维度，集中式还是分布式。前者易于实现并容易获得全局信息，但存在扩展性和控制回环时延大的问题；后者实现相对复杂，但可扩展性好。第二个维度，网络状态无关还是网络状态感知（拥塞感知）。前者实现简单，但难以适应网络状况的变化；后者能及时感知网络拥塞的变化，做到自适应的负载均衡，但实现复杂度高且存在拥塞测量困难和滞后的问题。第三个维度，流量调度的粒度。从大到小，存在流、Flowlet、Flowcell、包等不同的流量调度粒度，在封闭系统中甚至还有更小的以Cell为单位的流量调度。流量调度粒度越小，流量分发越均匀，但小粒度的流量调度容易带来数据包乱序的问题，从而对要求保证顺序的传输协议的性能产生影响。
对上述维度的不同选择和组合，产生了一系列的负载均衡技术方案，比如ECMP、Hedera、CONGA等。但随着网络速率的提高，时延的降低，流量动态性的增强，大象流冲突、控制回环时间太长等问题越来越突出，越来越需要更细粒度、反应更快、能适应网络负载动态变化的负载均衡技术。本文提出负载感知逐包负载均衡技术（Load-Aware Packet Spraying，LPS），它是一种分布式、以包为调度粒度、拥塞感知的负载均衡技术，可以实现细粒度负载均衡，且不引入包乱序。通过LPS，两个ToR（Top of Rack）交换机之间的流量会根据测量到的各路径拥塞程度，以包为粒度均匀地分发在多条路径上，并在到达目的ToR时进行重排序。
与传统的ECMP技术相比，LPS有三大优势：一是流量分发更均匀。LPS以包为粒度进行细粒度的流量分发，有效避免了大象流冲突，从而能够大幅度地提高流量的吞吐率和网络的利用率。二是自适应。LPS能根据网络路径拥塞状况，快速调整流量分发路径，从而适应网络负载变化。三是低网络排队时延。LPS均匀分发和自适应网络负载变化的能力，可有效降低网络拥塞，减少网络排队，从而有效地减小端到端传输时延。
4 结束语
以数据传输服务为核心，无损网络或将再进一步提高数据中心数据传输速率。远程直接数据存取（Remote Direct Memory Access，RDMA）技术通过应用程序直接读取或写入远程内存，避免操作系统、协议栈的介入，从而实现数据更加直接、简单、高效的传输，大幅减少数据传输过程中所需的时间。而该技术在数据传输过程中，需要尽可能地保证网络是无损的。未来无损网络可与RDMA技术集合，促进数据在不同设备间的高效传输，在实现数据中心网络无损的前提下，更进一步提高数据中心网络的数据传输速率。
网络虚拟化与无损网络结合，保证虚拟化场景下应用对网络性能的需求。近年来，软件定义网络作为网络虚拟化的重要实现方式之一，同样备受业界关注。然而，虚拟网络并不是无损网络，仍有可能存在丢包的问题，从而不能很好地支撑现有数据中心的典型应用与场景需求。未来，无损网络可能与网络虚拟化相结合，使得数据中心网络同时兼具虚拟化与无损的优点。
提升数据中心网络性能，让网络更好地应用于数据中心，支撑数据中心业务发展是行业共同的目标与使命。目前，IEEE、CCSA和ODCC等国内外团体在数据中心无损网络方面已经开展了很多的标准化工作，IEEE发布了技术白皮书《The Lossless Network for Data Centers》、CCSA发布了通信行业标准YD/T 3902《数据中心无损网络典型场景技术要求和测试方法》、ODCC发布了《无损网络技术与应用白皮书》《无损网络测试规范》等成果，同时华为、Mellanox（已被Nvidia收购）和思科等厂商均推出了相关的产品。后续需要继续汇聚行业力量，加快无损网络产业化进程，让无损网络更好地服务于数据中心的发展。
参考文献
[1] 王少鹏, 郭亮. 数据中心网络云化的演进趋势[J]. 电信网技术, 2018(5):34-37.[2] 陈楠, 樊勇兵, 何晓武, 等. 面向应用的云数据中心网络技术研究[J]. 电信科学, 2014,30(9):128-132+144.[3] 开放数据中心委员会. ODCC无损网络技术白皮书[R], 2017.[4] IEEE. The lossless network for data centers[R], 2018.[5] 王志明, 曾孝平, 刘学, 等. 一种异构网络TCP拥塞控制算法[J]. 电子与信息学报, 2016,38(4):780-786.[6] 陆一飞, 朱书宏. 数据中心网络下基于SDN的TCP拥塞控制机制研究与实现[J]. 计算机学报, 2017,40(9):2167-2180.[7] 刘军, 韩骥, 魏航, 等. 数据中心RoCE和无损网络技术[J]. 中国电信业, 2020(7):76-80.[8] 毛鹏轩. 下一代网络拥塞控制关键算法的研究[D]. 北京交通大学, 2013.[9] 沈耿彪, 李清, 江勇, 等. 数据中心网络负载均衡问题研究[J]. 软件学报, 2020,31(7):2221-2244.
Research on key technologies of data center lossless network
WANG Shaopeng, ZHENG Changkui, LU Shuai, GUO Liang
(Cloud Computing & Big Data Research Institute, China Academy of Information and Communications Technology, Beijing 100191, China)
Abstract: Firstly, this paper analyzes various problems faced by the traditional data center network, and then expounds the network requirements in scenarios such as AI, Server SAN and so on. At the same time, the excellent performance of lossless network in dealing with the above scenarios is introduced, the key technologies of lossless network are further described in terms of flow control mechanism, congestion control and load balancing, and the development of lossless network is also prospected.Keywords: data center; lossless network; key technology
本文刊于《信息通信技术与政策》2021年 第10期
主办：中国信息通信研究院
《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”，聚焦信息通信领域技术趋势、公共政策、国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。
《信息通信技术与政策》官网开通啦！
为进一步提高期刊信息化建设水平，为广大学者提供更优质的服务，我刊于2020年11月18日起正式推出官方网站，现已进入网站试运行阶段。我们将以更专业的态度、更丰富的内容、更权威的报道，继续提供有前瞻性、指导性、实用性的优秀文稿，为建设网络强国和制造强国作出更大贡献！
推荐阅读
你“在看”我吗？