查看原文
其他

B站公网架构实践及演进

系统部网络团队 哔哩哔哩技术 2023-01-17

本期作者


哔哩哔哩系统部网络团队

负责B站数据中心网络规划、设计、建设、运维与优化,为公司业务提供稳定且可靠的网络服务。整个团队专注于数据中心内外网、骨干网络、负载均衡、传输网络、虚拟化网络以及国际化网络的落地和应用,并根据业务的发展需求不断迭代更新底层基础网络设施。


01 引言


根据2022年Q3财报数据,B站的MAU已经稳定增长至3.3亿。用户在闲暇之余刷刷视频、看看直播,给自己喜爱的UP主一键三连,已经成为了生活中不可缺少的一部分。B站基础网络团队本着社区优先的理念,持续优化互联网接入网络架构,近2年内根据IDC规模发展和业务需求,对公网架构进行了有序升级改造,从稳定性、经济性等方面为B站业务提供了坚实保障。


02 B站公网1.0结构


在B站IDC公网1.0结构中,每个机房有独立的静态带宽线路,部分重要业务基于延迟要求配置BGP带宽提供服务。网络结构如图1所示:

图1 B站IDC公网1.0结构


B站公网1.0结构中,核心网络设备相当于整个网络枢纽,最大化的利用了核心网络设备硬件资源和转发能力。公网出口线路直连本机房核心网络设备,同时核心网络设备旁挂LB、NAT等基础组件,另外下挂机房内DCN网络。

  • 控制层面:两台核心网络设备采用堆叠技术虚拟成一台。在提升单台设备硬件接入能力的同时,降低了整体运维成本。

  • 线路资源:各家运营商资源至少冗余链路接入,提供静态带宽和BGP带宽接入,保证公网出口冗余能力。

  • 服务组件:机房内LB(Load Balance)、NAT(Network Address Transfer)等基础网关服务采用One-Arm的方式旁挂核心网络设备,主动提供对外、对内的Internet服务访问能力。

  • 路由策略:由于核心网络设备在网络中的角色特殊性,对于特定流量需要做特定的路由策略,才能进行正确转发,如:公网流量需要通过技术手段将流量先引入LB,再转发到机房内特定服务器。

该架构组网简单,涉及设备较少、网络层面配置简单,但是随着B站的业务发展,在长期的运维过程中,我们也发现了几个值得仔细考虑的问题。

问题一:网络故障域

在B站公网1.0的网络结构中,核心网络设备在网络中承担的角色非常重,所有流量都要经过核心设备转发,这就造成核心网络设备上任何一个故障,都会有较大的影响。比如单个端口器件异常,有可能会影响到公网和内网服务。长此以往网络运维将面临巨大挑战,该问题也成为了B站网络团队需要重点解决的问题之一。

问题二:网络可靠性

在B站1.0公网架构中,每个IDC都会引入静态三线带宽和BGP带宽。公网出口的可用性与运营商网络强耦合,更多依赖运营商公网的稳定性。当运营商公网出现故障时,网络上缺乏主动隔离故障的手段和能力,从而导致业务受损。处理方式上只能主动告知业务进行线路切换,缓解由运营商网络故障的带来的异常影响。

问题三:网络扩展性

B站公网出口以静态带宽为主,BGP带宽为辅。静态带宽资源基本上被运营商强绑定,扩容周期长且流程繁琐,甚至部分地区受运营商网络影响,扩容存在一定困难。结合B站业务的特殊性,在重大活动期间需要具备公网大带宽能力,如果运营商带宽资源准备不足,B站将会面临业务损。网络上需要考虑临时应急方案,直接后果是因扩展性问题增加了网络的复杂性。

问题四:网络资源

众所周知,全球公网IPV4地址资源日渐缺乏,且公网IP地址与运营商及机房有一定的强捆绑性,部分机房申请公网IPV4地址困难,面临没有公网IPV4地址问题。带宽利用率方面,由于B站各个机房部署的业务不同,出入带宽模型有所差异,不同机房公网带宽利用率差别较大,无法充分利用各个机房公网带宽资源。

问题五:带宽成本

每个IDC出口同时提供静态带宽和BGP带宽能力,当新建核心机房时,都需要寻找合适的公网资源并对资源进行评估及测试,整个过程复杂且周期长。不同地区的公网带宽相互隔离,Buffer都需要单独预留,造成了浪费;同时因为没有相互调度的能力,为了保证业务质量,所以使用了大量的BGP带宽资源。然而此举不可持续,随着业务的发展,BGP带宽量每年持续增长,会导致BGP的带宽成本持续增加。

问题六:容灾能力

IDC日常使用中,任何一个机房的公网出口都有可能出现异常情况。当公网出口发生故障时,以同城双活业务部署为例,业务按降级预案进行切换,从A机房降级到B机房,在底层带宽资源上A和B两个机房需要按照降级预案准备同等容量的公网带宽,以达到A/B两个机房之间公网冗余能力,从而保证业务不受影响。然而当发生地域性级别的公网故障时(如:某运营商某个省骨干网异常),同城双活方案将失效,因此业务还需要考虑异地容灾降级方案,这样会使业务的整体容灾能力变得非常复杂。


03 B站公网2.0结构


为了解决公网1.0结构中存在的问题,2020底B站基础网络团队调研了国内外互联网头部公司的网络架构,开始重新设计机房整体网络结构,包括DCN内网、DCI骨干网、外网、基础服务网络。重点从如下几个方面因素进行优化设计。

  • 网络区域化:网络按功能区划分,各功能区域划清界限,职责清晰;

  • SLA差异化:不同的网络模块按不同的SLA要求设计,满足不同业务的需求;

  • 资源集中化:新建区域级公网POP节点,对外接入不同公网带宽资源,对内统一接入,为各机房提供公网服务能力;

  • 硬件差异化:基于不同的网络需求,配置不同的硬件,比如公网更多关注路由能力,考虑使用路由器;内网更多关注带宽能力,考虑使用交换机;

基于以上因素考虑,B站基础网络团队设计了B站公网2.0结构,包含B站外网骨干网2.0结构和IDC公网2.0结构,分别如下图2和图3所示:

图2 B站外网骨干网2.0结构


B站外网骨干网2.0结构说明

  • B站外网骨干网做为底层承载网,为业务提供公网接入能力,实现对用户接入;

  • B站外网骨干网采用路由器设备,同时具备高性能转发和故障快速收敛能力;

  • 单区域至少部署双POP节点,每个POP节点接入不同的付费公网带宽资源,免费带宽资源;

  • 对内统一接入,将公网带宽资源下发到各个机房,提升公网带宽利用率的同时保障公网容灾能力;

  • 减少人力成本投入,新建IDC可以共用外网骨干网带宽资源,无需再走一遍重复的接入流程;

  • 各机房集中资源接入,规模效应能够具备更优的谈判条件,从而获取更优质更经济的公网资源;

  • 由于接入了异地资源,能够实现单个机房公网出口跨地域级的容灾能力,大大简化业务的多活架构;

  • 降低公网故障带宽和降级预案复杂度,仅需DNS将业务调度至本机房的另一套公网资源即可;

图3 B站IDC公网2.0结构


B站IDC公网2.0结构说明

  • 每个机房内部存在独立的外网区域,并可根据业务需求灵活扩展;

  • 外网核心(E-CORE)与公网组件(LB/NAT)组成机房的外网区;

  • 组网完全去堆叠化,每个层级的设备均独立运行,控制层面完全独立;

  • 每个机房上联外网骨干网,提供静态带宽和BGP带宽资源以及免费带宽资源;

  • 加强公网安全能力建设,SGW(Security GateWay)旁挂于外网核心,用于检测公网异常流量;

  • LB/NAT采用Two-Arm的方式串联在外网与内网之间,起到内外网隔离的作用,降低网络运维复杂度;

  • LB以集群的方式对外提供服务,保障服务高可用,不同的LB机器发布相同的公网地址,为业务提供服务;

  • NAT与内网核心(I-CORE)建立BGP邻居并发布默认路由至DCN网络,为机房服务器提供Internet服务;

B站公网2.0结构,经过半年建设、半年灰度验证,在业务部门的配合下,2022年初项目已完成上线,各IDC机房公网业务平稳完成迁移并稳定运行至今。


04 外网骨干网扩展


CDN网络

一个视频网站要为用户提供服务就避不开CDN与源站。海量视频文件需要从存储系统分发到用户终端,为了缩短B站与用户端的距离,提升用户体验,B站尽可能的在全国甚至全球部署CDN网络,以达到就近覆盖用户的目的。一般单个CDN节点规模小,存储、算力均有限,所以B站会在全国范围内部署多个大容量的区域级缓存CDN节点提供服务能力。B站视频业务数据分发存储与地址位置关系大致如下图4:

图4 视频业务数据分发及存储示意图


CDN/边缘节点:规模小,提供算力、数据存储能力有限,就近为用户提供服务,业务利用相对少量的计算和存储资源缓存热门数据,并且会根据用户观看偏好等行为进行缓存内容的及时更新调整;

区域级骨干节点:规模适中,区域性集中的算力和数据存储,作为边缘节点的容量溢出以及故障备份,也可说为二级缓节点,同时也对用户提供服务;

核心IDC:即源站IDC机房,规模大,承担整个公司的规模化算力和数据存储,具有B站所有服务资源。


CDN回源

早期B站CDN均是采用公网回源的方案,该方案实现简单,对公网强依赖,有链路不稳定的风险,公网带宽占用较大,成本较高。示意图如下图5:

图5 B站早期视频播放链路简易示图


中期为了降低公网带宽成本,业务采用CDN分级部署方案,一级节点就近公网回源二级节点,减少了公网链路长度,有效提升了回源的稳定性。示意图如下图6:

图6 B站中期视频播放链路简易示图


后期为了规避公网波动对回源的影响,进一步降低公网回源带宽成本,对于部分CDN节点,建设专线用于业务回源。结构如下图7:

图7 B站后期视频播放链路简易示图


从外向内共分为5级,连接关系、接入方式如下:

  • CDN节点单规/双规就近接入城域网节点,优先通过专线网络回源,公网回源则作为兜底策略;

  • 城域网节点就近单规/双规上联至区域级骨干网节点,接入方式取决于物理位置及成本考量;

  • 骨干网节点就近接入B站POP节点,通过POP节点打通CDN与源站网络;

总体来说,CDN节点做为B站外网骨干网的扩展网络,在有限的资源和成本下,提供了更稳定的网络服务,为B站用户提供了更优的冲浪体验。


05 未来展望


B站基础网络团队从稳定、成本、效率出发,以持续优化用户体验为目标,将用户始终放在第一位。依托运营商资源逐步优化公网服务,减少上层业务及用户对网络异常的感知。下一步我们将加快B站外网骨干网的覆盖范围,加强跨大区级的公网调度能力。同时结合业务发展需求与行业内发展趋势,优化公网部分组件及探索更前沿的技术,为B站提供更稳定、更高效、更低成本的网络服务。


参考文献:

[1] B4 and After: Managing Hierarchy, Partitioning, and Asymmetry for Availability and Scale in Google Software-Defined WAN: https://dl.acm.org/doi/10.1145/3230543.3230545

[2] Engineering Egress with Edge Fabric: Steering Oceans of Content to the World: https://dl.acm.org/doi/10.1145/3098822.3098853

[3] Building Express Backbone: Facebook’s new long-haul network: https://engineering.fb.com/2017/05/01/data-center-engineering/building-express-backbone-facebook-s-new-long-haul-network/


以上是今天的分享内容,如果你有什么想法或疑问,欢迎大家在留言区与我们互动,如果喜欢本期内容的话,请给我们点个"在看"吧!





您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存