数据中心可扩展性的关键：主机路由协议（RoH）(另2篇)
内容概要
可扩展性提升：RoH通过主机上的路由实现水平扩展，使数据中心更容易适应不断增长的工作负载，同时保持网络操作的最小影响。 灵活性提高：主机可以在不改变IP地址的情况下重新部署，RoH利用BGP通信新路由，提供更大的网络灵活性，简化主机移动操作。 性能优化：通过在主机到叶交换机边界减少延迟，RoH提高了整个网络的性能，并通过简化协议堆栈和配置任务减轻了交换机的负担。
多站点数据中心扩展：RoH与BGP结合在多站点数据中心的客户应用场景中实现了快速扩展，通过BGP的收敛特性，使得主机的移动和下线操作能够在最小的网络影响下完成。
计算机网络领域长期以来围绕着二层（生成树 Spanning Tree、VLAN、端口通道等）和三层（IP、OSPF、BGP等）功能展开。 二层功能存在可扩展性和配置简单的优点，但也有限制，如生成树带宽利用率低和VLAN数量限制。 三层功能更复杂，但推动整体采用的关键在于消除固有的复杂性。
RoH是将三层完全延伸到主机，改变了数据通信的工作方式。 RoH的特点包括无需VLAN、直接路由通告、无需配置、无网络环路，以及无需冗余功能，如多机箱链路聚合（MC-LAG）。 RoH允许终端主机在没有二层限制的情况下具有完全灵活的移动性。
通过RoH，终端主机可以直接连接，无需经过交换机，从而提供更灵活的网络设计。 RoH消除了VLAN的ID限制，允许终端主机自由移动，同时无需配置冗余功能。 RoH通过路由协议确保IP地址在站点之间的正确路由，提高了网络的移动自由性。
RoH完全消除了数据中心中对VLAN、多机箱链路聚合（MLAG）或任何二层技术的需求。 RoH可以利用智能网卡或在数据处理单元（DPU）上运行。将数据包处理卸载到适配器芯片上，提供了基于软件定义且具有硬件加速的主机网络。 RoH提供了在数据中心内的任何位置移动服务器并保持其IP地址的能力。IP地址不再与顶级交换机的子网绑定，而是由路由协议根据服务器所在位置进行广播。
---【以下为正文】---
Source:Michael Wenstrom; Routing on the Host - Essential to the Scalable Data Center; December 14th, 2022
对于那些已经采用IP BGP（Border Gateway Protocol，边界网关协议）的数据中心运营商，特别是在交换机堆叠中，实施主机路由协议（Routing to the Host，RoH）是一个自然而然的下一步。他们已经将由大型互联网公司首创的纯三层架构调整为适用于自身网络的形式。BGP已被证明是IP架构的理想路由协议，因为它具有成熟、普及且功能丰富的特点。下一步是实施RoH，并在服务器（主机）接口与叶交换机端口之间使用IP BGP，这是关键的连接点。
通过开发合适的路由协议设计并建立标准配置模式来执行设计，可以简化BGP。所有涉及配置的人员必须了解BGP的工作原理和配置方式。运行Dell SmartFabric OS10的Dell数据中心交换机为运行带有三层 BGP结构的RoH提供了强大的平台。
本文，我们将探讨了主机路由协议（RoH）带来的好处，包括提高可扩展性、灵活性和性能，并提供了一些实际应用案例。如果您想了解更多关于RoH的详细信息，也称为主机路由协议，请参阅博客《数据中心网络：是否还需要二层交换？》。
图1说明了带有BGP的RoH。该示例包括运行Dell SmartFabric OS10并配置为三层点对点链路和外部BGP作为路由协议的Dell交换机布线。主机是一台安装了Linux裸金属系统的服务器。主机运行FRRouting（FRR），这是一个为BGP配置的开源路由堆栈。请注意，主机和交换机端口仅配置为三层BGP网络。
可扩展性
数据中心设计必须促进水平扩展，以便快速容纳额外的工作负载，并对网络操作的影响最小。在主机上进行路由有助于实现横向扩展。
考虑图2右侧所示的多站点数据中心客户应用场景。运营需要水平扩展计算以增加站点容量。由于站点1的资源有限，因此需要将Spine 4、Leaf 7、Leaf 8以及相关主机迁移到站点2。主机和连接主机的叶交换机端口将配置为三层BGP。在迁移过程中，交换机通过BGP进行通信，并快速收敛新路由。新主机通过BGP宣告其存在，整个网络都能感知到新主机的加入，从而使得应用程序能够正常运行。主机路由协议与BGP的结合使得快速扩展成为可能。通过BGP的收敛特性，主机的下线操作也可以在最小的影响下完成。
灵活性
通过在IP结构中为主机提供子网自由度，RoH提高了灵活性。主机可以在任何地方重新部署并保持相同的IP地址。IP结构使用BGP向主机通信新路由。这可以与在叶主机接口处配置二层和三层的标准进行比较。主机绑定到每个机架的叶交换机。在保持相同IP地址的同时迁移主机是可能的，但需要额外的扩展VLAN配置。
图2说明了RoH在一个应用场景中提供的灵活性。客户必须将主机从站点1移动到站点2。为了防止破坏相关应用程序，主机IP地址不得更改。通过首选方法，将主机操作系统和应用程序移动到站点2。当主机启动时，它向叶交换机广告其/32路由前缀（192.168.2.2/32），并通过BGP在整个网络中传播该路由。交换机的路由信息库（RIB）和转发信息库（FIB）表通过BGP更新为主机的路由。
提升交换性能
RoH还可以通过在主机到叶交换机边界降低延迟来提高性能。每个Dell数据中心交换机都有一个核心的高性能网络处理单元（NPU），它使得Dell数据中心交换机在运行Dell SmartFabric OS10的情况下能够提供丰富的网络功能。
NPU具有内部管道，根据用户配置，处理每个端口的入口和出口数据包处理。
启用在交换机上的二层和三层的功能数量可以影响通过交换机的延迟，如图4所示。使用传统的从交换机到主机的二层和三层混合连接，NPU必须处理二层的数据包，如VLAN分配、LAG和STP操作。它还执行三层功能，如维护IP主机表、路由信息库（RIB）和转发信息库（FIB）。
在交换机端口和主机之间配置了三层 BGP端到端。由于仅使用三层，因此不执行二层的数据包处理。与传统配置在交换机端口上同时配置二层和三层相比，这可以减少从端口到端口的延迟。RoH的简易性可以提高性能并简化主机和网络配置任务。
增强内外可扩展性：主机可以通过最小的重新配置进行添加或移除。 使您能够移动主机并保持相同的IP地址：BGP使网络能够学习到主机的最佳路由，无论它在何处。 简化协议堆栈：协议开销减少，主机和交换机的配置也更简单。
Source: Mario Chow; Do I Need Layer 2 Switching?; September 14th, 2022
实际上，至少目前来看是不需要的。
计算机网络领域非常有趣。长期以来，体系结构一直围绕着二层（生成树 Spanning Tree、VLAN、端口通道等）和三层（IP、OSPF、BGP等）功能的组合。每个类别都有其自己的优缺点。
例如，在部署生成树或VLAN等二层功能时，可扩展性就成为一个考虑因素。使用生成树时，由于链接被阻塞作为环避免算法的一部分，带宽利用率只能达到五成。使用VLAN时，ID的数量限制为4094。尽管如此，二层部署简单且更容易理解。
就三层而言，IP比二层更复杂，路由协议如OSPF或BGP可能很复杂。消除这些固有的复杂性一直是推动三层部署整体采用的关键。
Dell SmartFabric OS10广泛部署在各个行业和基础设施环境中。在这些环境中，对于大型企业和云部署，存在一种独特的部署模型，其中三层完全延伸到主机。这一特性被称为“主机路由协议”（Routing to the Host，RoH）。
让我们摆脱二层交换
在常见的网络中，终端主机将数据包发送到交换机或路由器，以便数据包能够被交换或路由到目的地。终端主机需要...但是，如果我告诉你，我们可以不需要交换机，直接连接，会怎样？
主机路由协议（RoH）
无需VLAN，因此没有ID限制，也无需将这些VLAN终止到三层设备以允许VLAN间通信。 直接路由通告，允许终端主机完全灵活地移动。 无需配置。此功能在Dell SmartFabric OS10上默认启用。 无网络环路。 无需设备冗余功能，如多机箱链路聚合（MC-LAG），以提供终端主机的冗余连接。
图1显示了典型的主机路由协议的单站点云参考架构，其中部署了端到端的三层，包括终端主机。
图2显示了两个布线，每个布线都部署了主机路由协议。通过这种方式，可以更好地理解这种移动自由。在典型的网络设计中，如果没有部署主机路由协议，终端主机需要一个默认网关来发送其数据包，在这种情况下，它是上游叶连接。这通常是一对一的关系，形成依赖关系。
要将连接从左侧移动到右侧，反之亦然，需要在叶交换机上进行伴随配置，从而创建不必要的配置波动。
通过主机路由协议，终端主机只是在站点之间移动的IP地址。与任何上游设备没有配置绑定。路由协议确保这些IP地址正确地路由到它们的目的地。
与OSPF或BGP等其它三层路由技术相比，主机路由协议是一项相对较新的功能。不过，在短短的时间内，它已经展现出独特的价值，无论何时进行基础设施部署，都值得考虑。
观察业界对于这项引人注目的SmartFabric OS10功能的反应将非常有趣，Dell也对于看到有多少部署采用了这个功能感到非常兴奋。
Source:Peter Lumbis; FRR: THE MOST POPULAR NETWORK ROUTER YOU'VE NEVER HEARD OF; October 26, 2020
在网络行业中，似乎每个人都属于两大阵营之一：使用过基于服务器的路由软件的人和对其根本不知情的人。如今，一个名为Free Range Routing（FRR）的解决方案正在全球范围内占领云和企业数据中心。
FRR的起源可以追溯到Quagga（甚至更早的Zebra），经过近20年的发展，它已经演变成一个成熟的软件路由套件。Quagga软件套件为Linux和Unix服务器提供了BGP、OSPF和RIP支持，这使得BGP路由服务器或基于服务器的VPN集中器等应用得以实现。对于熟悉软件路由器优于传统网络供应商设备的网络工程师来说，Quagga无疑是工具箱中的一款卓越工具。在规模虽小但专注的开发者社区的支持下，Quagga逐步发展壮大。
2010年，当Cumulus Networks成立时，Quagga路由套件被用作其数据中心网络软件Cumulus Linux（现为Nvidia Networking的一部分）的核心组件。Cumulus Linux为其在分布式数据中心交换机上的客户提供BGP和OSPF路由服务。Cumulus Networks向Quagga项目投入大量资源，以进行错误修复、质量保证和功能改进。每个由客户提出的修复都成为提交给Quagga上游社区的补丁。
在Cumulus Networks的引领下，商业开发者社区逐渐壮大，吸引了VMware、Orange Telecom、6Wind等公司加入。在接下来的几年里，贡献和新功能的涌现速度超出了Quagga项目框架所能承受的范围。由Cumulus Networks领导的开发团队（包括上述公司），于2016年将Quagga项目分叉为Free Range Routing（FRR），并将其置于Linux Foundation的管理之下，确保该项目保持强大、开放和公平。
随着FRR的发展和新的归属，它不仅在服务器上作为路由堆栈越来越受欢迎，而且成为以太网交换机和其他网络解决方案的核心组件。在服务器或交换机上运行FRR提供了SDN、覆盖网络、厂商品牌防火墙等功能。广泛的应用和场景，加上不断增长的商业支持，使得FRR项目吸引了400多名贡献者，并收到了超过14309个提交。FRR的强大和稳定性使微软将其纳入其开放网络操作系统SONiC中，而亚马逊则在开源的DENT网络软件中使用它。
路由软件的价值
作为一款免费、开源的应用程序，FRR为用户提供了方便获取和使用该软件的渠道。用户可以从简单的基于虚拟机的实验室开始，或在他们的环境中测试软件路由器。这些不同的应用场景展现了纯软件路由应用程序的独特价值。当路由器的功能和创新不再局限于硬件路由器设备中，而是能够迫使客户部署专有的硬件-软件堆栈时，新的应用场景便应运而生，更多部署也变得更具成本效益。
在生产环境中，有许多使用FRR作为软件路由器的部署案例，包括使用基于x86的面向互联网的路由器、BGP路由反射器、BGP路由服务器，甚至是运行路由协议的普通端点主机，通常被称为“主机路由协议”（Routing to the Host，RoH），完全消除了数据中心中对VLAN、多机箱链路聚合（MLAG）或任何二层技术的需求。FRR RoH还可以利用智能网卡如Nvidia ConnectX，或在数据处理单元（DPU）上运行，比如Nvidia BlueField。这种实现将数据包处理卸载到适配器芯片上，提供了基于软件定义且具有硬件加速的主机网络。
采用“主机路由协议”解决方案可以带来意想不到的优势，例如在数据中心内的任何位置移动服务器并保持其IP地址的能力。IP地址不再与顶级交换机的子网绑定，而是由路由协议根据服务器所在位置进行广播。
对于仅需简单互联网接入需求的用户，现代CPU已经能够轻松处理每秒10Gb甚至25Gb的流量。结合FRR等路由软件，您现在可以以传统边缘路由器成本的一小部分创建一个互联网路由器。由于服务器采用Linux操作系统，您可以添加其他应用程序和服务，如防火墙、负载均衡器，甚至类似SD-WAN的应用程序或脚本，而不会受到传统路由器的限制。对于需要每秒数太比特的交换吞吐量的应用场景，可以在高性能以太网交换硬件上运行如Nvidia Spectrum系列这样的FRR。这些交换机运行FRR并利用专用ASIC进行编程，提供非阻塞的高吞吐量和超低延迟。
例如，客户可以选择在顶级交换机上运行Nvidia Cumulus Linux，在网络主干交换机上运行SONiC或DENT，同时在服务器上运行FRR。在这种情况下，数据中心的三个层级都使用FRR进行路由，它们的网络可以以相同的方式进行管理。
FRR的未来展望
凭借着强大且不断壮大的社区支持，FRR的未来前景备受期待。其路线图中规划了许多先进功能的实现，包括扩展现有的段路由支持、实现思科系统的EIGRP路由协议、完整基于YANG的数据模型、BGP RPKI支持等。目前，AT&T DANOS项目也将FRR用作其路由堆栈，这表明FRR在增强服务提供商功能方面具有巨大的潜力，已经超越了其对数据中心网络的现有关注点。
除了不断扩展的功能路线图，FRR还开始作为实现IETF座右铭“大致共识和可以运行的代码”的平台。IETF提出的新协议正在利用FRR的开放性创建协议提案的实际运行实现。FRR为开发新标准的实现提供了一个自然、厂商中立的方式，同时让任何人都能访问代码以进行审查和贡献。OpenFabric的加入就是一个很好的例子，它是OpenFabric IETF草案的一个实际工作实现。
预计未来在各种网络技术中会更多地看到FRR的身影，从防火墙设备到软路由器，再到网络操作系统，甚至在服务器上使用FRR的CPU或DPU应用。尽管您可能从未听说过FRR，但您可能每天都在与之交互，并使用它连接到云端。
---【本文完】---
近期受欢迎的文章：
更多交流，可添加本人微信
（请附姓名/关注领域）