【深度】数据中心光通信技术综述
作者单位阿里巴巴集团阿里技术保障美国研究所
摘 要
Abstract
由于互联网业务的快速发展，数据中心的流量已经占据全球通信网络流量绝大部分。作为高速信息传输的主要载体，如今光通信技术已经在数据中心中得到了广泛应用，从距离几米服务器间的光互连到连接世界各地数据中心的光网络。
本文概要介绍了数据中心的光通信技术，包括数据中心之间互连的广域网、城域网技术和数据中心内部服务器及交换机之间光互连技术，并对各个领域内一些不同的技术方案做了简要的讨论和比较。
数据中心；光通信；广域网；城域网；光模块
互联网已经进入了人们生活的各个方面，正在对人类社会产生深远的影响。从电子商务、社交网络、网络游戏，到网络视频、云计算、虚拟现实等，互联网上各种新的应用层出不穷，所产生的数据量和对通信容量和计算能力的需求一直在以指数级快速增长。
基本上所有的互联网业务和应用的处理与计算都是在数据中心进行的。在数据中心，成千上万台服务器通过网络连接起来，像一台巨大的超级计算机一样协同一致地工作。根据《Cisco全球云计算指数白皮书》，到2019年，全球通信网络流量的99%是和数据中心相关的，其中数据中心内部的网络流量占到全部流量的70%以上，如图1所示。
图1 Cisco发布的2019年全球通信网络流量预测
高馄博士1966年指出光纤的损耗可以降到20 dB/km以下，1970年美国康宁公司第一次拉出损耗为17 dB/km的光纤，光纤通信产业发展至今已有50年。
1977年第一个商用光纤通信系统由AT&T在美国芝加哥投入使用，容量为45 Mbit/s，今天单模光纤的容量已达到100 Tbit/s，技术的发展使光纤通信系统的容量在过去30多年里提高了6个数量级。
从距离几米服务器交换机之间的连接、到连接千家万户的接入网、再到跨越1万多公里的海底光缆，今天的光纤通信已经覆盖了信息传输从短距到长距的各个方面，成为了今天信息社会和大数据时代的重要基础设施。
近年来，由于互联网和云计算的发展，光纤通信的应用主体已经从电信运营商的中心机房转向了数据中心。在美国，2008年互联网公司数据中心对光纤通信的需求超过了电信运营商，今天数据中心或许已经成为光纤通信的最大市场。
本文描述了数据中心中使用和需要的光通信技术，包括连接数据中心间的广域网和城域网技术以及数据中心内部的光互连技术。首先对数据中心的网络作了简单的概述，使读者对光纤通信在数据中心中的应用有个总体的了解；而后对数据中心广域网、城域网及数据中心内网中使用的光通信技术作了详细的阐述；最后进行了简要的总结。
图2给出了典型的大型互联网公司数据中心网络架构，包括广域网、城域网和数据中心内网。分布在不同地区的数据中心通过广域网相互连接，根据架构的不同，每个或部分数据中心通过外部通道和公共互联网相连，用户通过公共互联网和外部通道进入数据中心。为改善用户体验、降低访问时延，一般会在靠近用户或用户集中的地方设立POP点，POP点通过专线直接连接到数据中心。这样可以减少用户访问数据在公共互联网中的滞留时间。
图2 典型的大型互联网公司数据中心网络架构
一般每个地区的数据中心有几个不同的数据中心组成，主要为了容灾和备份的需求，也有的是为了将位于同一个地区内几个数据中心组成一个超级虚拟数据中心，这样每个数据中心可以相对较小，设计和建设相对容易。同一地区的数据中心通过城域网连接起来。因为时延的要求，城域网中不同数据中心的距离不容许超过80公里。
每个数据中心内部有成千上万台服务器，这些服务器通过数据中心内网相互连接。数据中心内网有几个重要的参数：可连接的服务器的数量（可扩张性）、对分带宽和时延。可扩展性指在增加服务器数量时不需要改变网络架构。最理想的情况是在一个大型数据中心内的任何两个服务器之间都能以很小的时延和服务器的全部带宽进行通信，但在实际的网络设计中必须考虑成本，网络架构设计和技术选择必须在成本和性能之间进行平衡。今天的数据中心内网大多采用多层结构，但随着技术的发展，网络架构有走向扁平化的趋势。
从上面的描述可以看出，和传统的电信网络不同，数据中心的网络主要是机器和机器之间通信的网络。随着网络速率的不断提高，光通信技术在数据中心得到大量的使用。在如今的数据中心网络中，几乎每个连接都采用了光通信技术，包括数据中心内部距离几米的服务器和交换机之间的连接。下面对广域网、城域网和数据中心内网中采用的光通信技术分别进行详细的阐述。
光通信具有大带宽、长距离传输信息的优点，它的主要应用场景是在两点之间提供大带宽的信息传输通道，所以在诞生之初，主要应用领域是长途干线网。长距离、大容量的干线传输网技术一直是光通信技术的前沿研究领域，致力于解决噪声（光纤损耗）、光纤线性损伤（如色散）和光纤非线性损伤对传输容量和距离的限制，提高单信道速率、单根光纤的容量和无电中继的传输距离。
图3给出了自1985年以来单根光纤容量的发展。在过去30年里，光通信单信道的速率从1 Gbit/s发展到1 Tbit/s、单模光纤的容量从1 Gbit/s发展到100 Tbit/s，分别提高了1000倍和10万倍。无电中继的传输距离从最初的10 km到提高到跨域太平洋的1万多公里。
图3 单根光纤的容量发展
这些容量和距离的进展得益于光纤技术、光放大技术、非线性管理技术、调制解调技术、光信号检测技术等的发展。今天单模光纤的容量已经接近了香农极限。
为进一步提高光纤的容量，近年来，空分复用技术受到了广泛的重视。空分复用技术采用多芯子和多模光纤来提高单根光纤的传输容量，该技术不仅包括多芯子和多模光纤本身，还涉及空分复用光放大技术和多进多出信号处理技术。采用空分复用技术，单根光纤高达2 Pbit/s传输容量光通信系统已经在实验室得到验证。
今天数字相干光通信技术已经成为干线传输网的主要技术。图4给出了数字相干光通信系统框架。
图4 数字相干光通信系统框架
数字相干光通信不仅仅是提高了接收机的灵敏度，更重要的有以下3点：可以利用正交相位和正交极化方向来调制信号，信号空间从强度调制时的一维扩大到四维，大大提高了频谱效率；可以在发射端和接收端大量使用数字信号处理技术，使得许多传输系统的损伤，包括线性和非线性损伤，可以在电领域采用数字信号处理技术来补偿，这大大简化了线路系统的设计和管理；容易在系统中采用复杂的编解码技术，使得系统的容量接近香农极限。
目前100 Gbit/s PDM-QPSK在陆地和跨洋干线系统中得到广泛应用，采用EDFA光放大器技术和SD-FEC技术，无电中继传输距离在陆地和跨洋系统中可以超过3000 km和10000 km。使用灵活栅格和C波段，容量可达12 Tbit/s。进一步提高系统容量可以采用高阶调制格式如8QAM，但是高阶调制需要更高的光信噪比（OSNR）。对于同样的符号速率，16QAM所需的OSNR比QPSK高近7 dB，这意味着在同样的光纤、光放大器和跨段距离的条件下，采用16QAM虽然可以把容量提高一倍，但无电中继的传输距离会降低5倍。
有许多技术可以提高16QAM的传输距离，如采用拉曼光放大器、低损耗和低非线性光纤、编码调制技术、非线性补偿技术等等。
实验证明，采用新型低损耗低非线性光纤及拉曼放大器技术，16QAM可以达到和QPSK在标准单模光纤和EDFA系统中相同的传输距离。采用16QAM和L波段技术，系统的容量可以比现在提高4倍，达48 Tbit/s。
对于呈指数形式增加的网络流量需求，单从硬件角度来提高网络的容量已经难以满足需求，特别是在光纤传输容量已接近香农极限的今天。
必须硬件和软件结合，从广域网的层面建立一个灵活开放的光传输网来提高广域网的效率，以满足社会对网络流量快速增长的需求。
如图5所示，一个灵活开放的传输网将分开线路系统和终端系统，不同厂商的设备可以相互连接，采用统一的管理控制平台，如SDN控制器或NMS。ROADM 和灵活可编程的收发信机可以大大提高网络的灵活性和对流量的灵活调度能力。
图5 开放灵活的光传输网络
几年前贝尔实验室城域网流量增长白皮书指出，城域网流量的增长速度将大大高于干线网络，城域网将成为光通信的最大市场，其中数据中心的城域网占很大一部分。数据中心的城域网和电信运营商的城域网有很大的不同，主要的不同点列在表1中。
表1 数据中心城域网和电信运营商城域网比较
从表1可以看出，相对于电信运营商，数据中心的城域网要简单得多。由于节点较少、距离较短、业务单一，数据中心城域网基本是点对点的传输系统，但是因为大量数据传输的需求，对容量要求较大。
数据中心城域网是目前很热门的研究领域，各种新的技术和方案层出不穷。从检测技术角度，可以把数据中心城域网方案分成相干检测和直接检测两种技术方案。
相干检测方案即采用数字相干光通信技术，和广域网中相干光通信技术类似。但因为传输距离短，很多方面可以简化，如可以采用低成本的光器件如硅光器件、HD-FEC、简化数字信号处理模块中的色散补偿等，即使性能低一些也能满足要求。另外，一些高阶的调制格式如64 QAM，虽然传输距离短，但仍然可以满足80 km的需求，适合在数据中心城域网中使用，因为单波长可达400 Gbit/s，可以大大降低单位比特的传输成本。
对于直接检测方案，有许多不同的技术。最简单的是二进制强度调制即OOK技术，但该技术对器件的带宽要求较高，而且对光纤色散匹配的要求很高。为减轻这些要求，人们开始采用高阶强度调制，如四电平幅度调制PAM4对系统带宽的要求比OOK降低一半，对色散的容忍性可以比OOK提高4倍。随着PAM4的芯片的成熟，PAM4已经在实际系统中得到应用。
另外一种得到大量研究的直接检测技术是DMT技术。DMT实际上是一种多载波技术，它对每个载波不是采用同一种调制格式，而是根据每个载波的信噪比的不同对每个载波采用不同调制格式，即对高信噪比的载波采用高阶调制格式、低信噪比的载波采用低阶调制格式，从而可以最大限度地优化信道的频谱效率。
DMT技术包括强度调制一直接检测的DMT技术和单边带一直接检测的DMT技术。单边带DMT技术比强度调制DMT技术的频谱效率高一倍，同时对光纤色散的容忍度很高，但它需要正交相位调制技术，发射机的复杂度比强度调制DMT技术高很多。此外还有其他的直接检测技术如Stoke、矢量直接检测接收机技术。
直接检测和相干检测最大的不同是在接收端不需要本震源，发射端有的采用强度调制，相对简单，有的采用正交相位调制，和相干检测的复杂度一样。
相干检测和直接检测技术各有优缺点。直接检测相对比较简单、成本低、尺寸小，有可能做成可插拔的光模块，直接插在交换机和路由器上，但是它对线路系统要求较高，如系统色散需要精确匹配、所需光信噪比较高，此外它的容量比相干检测系统低，C波段一般只可以达到4~8 Tbit/s。相干检测技术的优点一是容量高，如采用64QAM，在C波段的容量可达36 Tbit/s；二是对线路系统要求低，对系统色散基本没有什么要求。它的缺点一是成本相对较高，但因为高阶调制可以大幅降低单位比特的成本，这个缺点将会越来越不显著，二是尺寸相对较大，做成目前100 Gbit/s普遍采用的QSFP28封装模式难度很大。
城域网数据中心光互连一般是交换机或路由器通过灰光光模块连接到波分光传输设备，波分传输设备不同波长的信道通过合波器集中到一根光纤后经过光放大器和传输光纤传送到另一个数据中心，如图6(a)所示。近年来出现了另一种设备形态，如图6(h)所示，即交换机或路由器直接出彩光，该彩光可以是外接可插拔彩光光模块，也可以是彩光光模块直接集成到交换机或路由器中。
这些不同波长的彩光直接连接到合波器再经过放大后传送到另一个数据中心。方案A的好处是交换机、路由器及波分传输设备是分开的，用户可以自由选择各自最合适的方案。方案B的优点是省了一对灰光光模块，但是如果采用相十检测彩光光模块，交换机和路由器端口的密度会降低，如采用直接检测彩光光模块，对线路系统要求提高且传输容量受到限制，另外方案B把光传输和交换机/路由器结合在一起，有可能会限制技术的选择自由度。灰光光模块成本比彩光光模块低很多，所以从成本上比较，这两种方案难分仲伯，各自有自己的应用场景。
图6 城域网数据中心互连方案形态
数据中心内的链路距离较短，大多在几米到几百米的范围内。有的大型数据中心包括几个大的建筑物，建筑物和建筑物间的连接距离相对较长，但最长距离在2 km之内。虽然距离短，但随着数据中心速率的提高，铜缆已经难以胜任连接的要求，越来越多的连接采用光互连技术。
图7是目前数据中心以太网速率的演变图，这里有两个速率：服务器至交换机的速率和交换机至交换机的速率提高。一般数据中心的速率指的是交换机至交换机的速率。今天的数据中心正从40 Gbit/s向100 Gbit/s演变，下一代可能会跳过200 Gbit/s直接演进到400 Gbit/s。
图7 数据中心以太网速率
在这样的速率下，大多数链路采用光互连方案。因为距离短，光纤容易铺设，和长途干线不同，数据中心内部一般采用平行链路来提高互联速率，如图8所示。
图8 数据中心光互连链路框架
如对于40 Gbit/s和100 Gbit/s，采用4条平行通道，即4x 10 Gbit/s和4x25 Gbit/s。这4条平行通道可以是4根光纤或4个波长。在发射端，信号被分成平行的几路通道，经驱动电路放大后驱动激光器阵列（对于采用外调制器的方案，信号驱动调制器阵列），电光转换后的信号藕合进光纤后传送到接收端。在接收端，光信号经探测器阵列转换成电信号，再经接收机电路处理后送到信号目的地。
自从1996年VCSEL被建议用作短距离数据通信以来，VCSEL一直在短距离数据通信中占有重要的地位。直到40 Gbit/s，多模技术（多模光纤和VCSEL相结合的技术）一直是数据中心光互连的主要技术。
到100 Gbit/s后，单通道速率达到25 Gbit/s，由于模式色散的影响，多模技术的传输距离受到限制，单模技术开始在数据中心应用得到重视。
根据采用多模还是单模、多个光纤还是多个波长，可以把100 Gbit/s技术分为4种类型：SR4、SWDM4、PSM4和CWDM4。这4种类型都是采用4个通道，每个通道速率为25 Gbit/s。
SR4和SWDM4采用多模技术，PSM4和CWDM4采用单模技术。SR4采用850 nm波长的VCSEL阵列和MPO多模光纤（双向8根光纤），IEEE定义的最大传输距离为OM4光纤100 m。采用低线宽的VCSEL和均衡技术，SR4传输距离可增加到300 m。SWDM4也是采用多模技术，但和SR4不同的是它采用850~ 950 nm范围内4个波长的VCSEL阵列和双向两根多模光纤，传输距离和SR4相似。
PSM4和SR4相对应的单模技术，采用1 310 nm波长的DFB激光器阵列和MPO单模光纤，最大传输距离为500 m。CWDM4采用单模粗波分技术，即1270~1330 nm范围内相隔20 nm的4个波长。
相对于PSM4，CWDM4对激光器要求更高，且需要合分波器，但传输距离可达2 km。
这4种技术具体特性和性能指标列在表2中。具体采用哪种技术需要综合考虑性能和成本。单模技术传输距离较长，而且技术升级到更高速率时光纤仍然可以使用，有的数据中心看中这一点会优先考虑单模技术方案。但多模技术成本相对较低，对于大多数链路在100 m之内的数据中心，多模技术方案在成本上更具优势。
表2 4种100 Gbit/s技术
100 Gbit/s之后的下一个以太网速率很有可能是400 Gbit / s , IEEE 802.3在2014年启动了400Ghit/s以太网研究组，定义400 Gbit/s以太网标准。400 Gbit/s以太网物理层对多模光纤和单模光纤距离目标和100 Gbit/s一样。如图9所示，有多种方法可以使光通道达到400 Gbit/s。
图9 提高速率到400 Gbit/s的方法
一是增加通道速率，如提高符号速率或调制阶数，50 Gbaud的PAM4信号可以不改变现有通道数就可以实现400 Gbit/s；
二是增加光纤数，如在现有25 Gbit/s通道速率的基础上，采用16根光纤可以达到400 Gbit/s；
三是增加波长，如在PSM4基础上，每根光纤4个波长就可以实现400 Gbit/s。
不论采用哪种方法，400 Gbit/s的单位比特的成本和功耗应该比100 Gbit/s的低。
目前光模块采用热插拔的方式，通过交换机的面板接口和电子走线和交换芯片连接在一起，如图10(a)所示。随着交换机速率的提高，这段电子走线将会对信号产生愈来愈大的损伤，同时可插拔接口也限制了面板的密度。为解决这个问题，可以把光模块移到交换机中去，使光模块靠近交换芯片，光模块通过光纤接到面板上，这种方式称为板载光模块，如图10(b)所示。板载光模块不仅可以减少电子走线对信号的损伤，简化模块设计，还可以大大增加面部密度。最终电子芯片和光子芯片将集成在一起，大大简化系统、降低功耗和成本，如图10(c)所示。板载光模块和光电集成模块对器件的可靠性要求很高，因为板载模块和光电集成器件的故障都需要更换整个交换机电路板，不像更换可插拔光模块那样简单易操作。
图10 光和电结合的方式
本文综述了数据中心网络所需的光通信技术，包括广域网、城域网和数据中心内网。
可以看到，随着网络速率的提高，光通信技术几乎用在数据中心的所有链路中。从距离几米的服务器互连到连接位于世界各地数据中心的跨洋广域网，作为高带宽、高密度和长距离的信息传输载体，光通信技术将直接影响未来数据中心的发展。
如何在各个层面提高光传输通道的容量和效率来满足数据中心快速发展的需求，将是一项十分挑战的工作。