助力Koordinator云原生单机混部，龙蜥混部技术提升CPU利用率达60%｜龙蜥技术
文/OpenAnolis Kernel SIG
什么是 CPU 混部
当这两类任务同时部署到同一台机器上时，由于离线任务对资源的占用较多，资源竞争导致在线任务的延时受到了很大的影响，而且，在超线程架构的机器上，即使离线任务和在线任务跑在不同的超线程 CPU 上，流水线和 cache 的竞争也会导致在线任务的运行受到影响。于是，CPU 混部技术诞生了，来解决离线任务对在线任务延时的影响，同时还能进一步提升 CPU 资源的利用率。
（图 1/混部单机 CPU 利用率示意图）
02
内核 CPU 混部技术
CPU 混部技术，主要是通过单机操作系统调度器来实现的，通过任务类型来决定所分配到的 CPU 资源。龙蜥社区的三大原生技术为 Koordinator 社区提供了强大的 CPU 混部底层技术支持，包括：
Group Identity 混部技术
Plugsched 调度器热升级技术 CPU 混部插件产品
2.1 龙蜥 Group Identity 技术
龙蜥社区的 CPU 混部技术——Group Identity 给操作系统内核提供了 CPU 混部能力，例如 Alibaba Cloud Linux 2/3 和 Anolis7/8 OS 发行版均使用的是该技术。Group Identity 技术是在原有的 CFS 调度器中新增了另一个运行队列来区分在线和离线任务，而且，为了避免对端 CPU（超线程架构）上离线任务的干扰，Group Identity 会对其进行驱逐。龙蜥的 Group Identity 技术已经经过阿里双十一等大型活动以及大规模商业化的验证，其 CPU 混部能力也得到广大用户和开发者的认可。
2.2 龙蜥 CPU 混部插件
2.迁移到 Alibaba Cloud Linux 2/3 操作系统发行版。
对于第一种方案，需要从 CentOS 镜像站中下载其内核源码，将 CPU 混部技术移植到内核，编译后安装，然后重启系统便可以使用该技术，但这会涉及到业务迁移和停机，势必会给业务方带来昂贵的代价。
对于第二种方案，虽然迁移工作会有一定的工作量，但是，Alinux2/3 或 Anolis OS 包含了完整的混部资源隔离方案（CPU 混部仅仅是其中一点），技术红利所带来的收益远比迁移代价要大得多。而且 CentOS 即将停服，为了解决 CentOS 停服问题，龙蜥社区推出了 Anolis OS 发行版操作系统，该发行版系统完全兼容 CentOS，用户可以进行无缝迁移。
针对 Koordinator 云原生 CentOS 单机操作系统 CPU 混部能力的缺失，龙蜥社区开发人员给出了另一种方案，利用 plugsched 调度器热升级技术提供一种 CPU 混部技术的调度器插件包，该插件包含了阿里云早期（2017年）的 CPU 混部技术 bvt + noise clean，可直接安装到 CentOS 7.9，不需要停机和业务迁移等工作。
2.2.1 Plugsched 神器
Plugsched 调度器热升级，是龙蜥社区推出的 plugsched SDK 调度器热升级开发工具，它可从 Linux 内核中将调度器解耦，形成一个独立的模块，然后将 CPU 混部技术移植到调度器模块，形成一个调度器插件，然后将其直接安装到运行的系统中就可以使用 CPU 混部技术。Plugsched，可以对内核调度器特性动态的进行增、删、改，来满足业务的需求，且无需进行业务迁移和停机升级，还可以回滚。内核开发人员可通过 plugsched SDK 生产出各种类型的调度器插件来满足不同的业务场景。
Plugsched 调度器热升级论文《Efficient Scheduler Live Update for Linux Kernel with Modularization》已被 ASPLOS 顶会收录，里面详细介绍了 plugsched 技术原理和应用价值，以及全面的测试和评估。目前，plugsched 生产的插件已在蚂蚁集团、阿里云和国内某大型互联网企业规模部署。
Plugsched 开源链接：
https://gitee.com/anolis/plugsched
2.2.2 Group Identity 测试
在 Koordinator 社区的在离线最佳实践手册中，对 Group Idnetity 混部技术做了测试，在线任务是 Nginx 服务，离线任务是 ffmpeg 视频转码，机器采用的是阿里云神龙裸金属服务器，系统发行版是 Alibaba Cloud Linux 2，系统内核是 Alibaba Cloud Kernel 4.19，里面搭载了龙蜥社区的 Group Identity CPU 混部技术，测试 case 如下：
基线：单独运行 Nginx 容器对照组：同时运行 Nginx 容器和 ffmpeg 容器，不设置优先级实验组：设置 Nginx 为在线高优先级任务，ffmpeg 为离线低优先级压测机：在另一台服务器上使用 wrk 工具向 Nginx 服务发送请求 测试结果：（单位：ms）
| 基线 | 对照组 | 实验组 | |
| RT-P90 | 0.533 | 0.574（+7.7%） | 0.548（+2.8%） |
| RT-P99 | 0.93 | 1.58ms（+70%） | 0.96（+3.2%） |
| CPU% | 29.6% | 85.6% | 64.8% |
从对照组中可以看到，当在、离线任务同时运行时，在线任务 Nginx 的长尾延时受到了很大的影响，尤其是 P99 延时，增加了 70% 左右。但是，给在线容器和离线容器设置优先级后（启用 Group Identity 混部功能），Nginx 的 P90 和 P99 长尾延时受到的干扰非常小，延时仅增加了 2.8% 和 3.2%。
2.2.3 CPU 混部插件测试
为了比较 CPU 混部插件与 Group Identity 的性能差异，开发人员对该调度器插件进行了相同的测试，服务端配置：
测试机器：阿里云神龙裸金属服务器
系统配置：CentOS 7.9 发行版，内核版本 3.10，安装 CPU 混部调度器插件
在线容器和离线容器的配置与压力均与 Group Identity 测试的相同，测试结果如下：（单位：ms）
| 基线 | 对照组 | 实验组 | |
| RT-P90 | 0.444 | 0.575（+29.50) | 0.504（+13.51%） |
| RT-P99 | 0.706 | 1.7（+140.79) | 0.88（+24.64%） |
| CPU% | 25.15% | 71.7% | 49.15% |
2.3 Group Identity 更胜一筹
从上面的测试数据来看，不论是离线任务对在线任务的干扰，还是 CPU 利用率的提升，Group Identity 的性能均明显优于 Bvt + noise clean 插件。这是因为两套技术的实现原理不同导致的：noise clean 技术采用的是 throttle 机制，当调度器选择下一个任务时，它会检测对端 CPU 上的任务类型以及当前 CPU 正在执行的任务类型，如果在、离线任务同时存在，则会将离线任务 throttle 掉，然后继续选择下一个任务进行调度，保证在线任务优先执行且不被对端 CPU 上的离线干扰；而 Group Identity 则是给 CFS 调度器增加了低优先级的运行队列，每次选择下一个任务执行时，优先从高优先级队列中选择任务，而且新增了驱逐队列来驱逐对端 CPU 上正在执行的离线任务。从方案设计来看，Group Identity 的设计更加适用于 CPU 混部场景。
从技术演进上来看，龙蜥社区对 Group Identity 技术仍然在维护更新，而 bvt + noise clean 技术已不再更新迭代。再者，龙蜥社区有完整的混部资源隔离方案，而且下一代 CPU 混部技术 Group Identity v2.0 正在投入研发，将会带来更为强大的功能和性能。
对于 plugsched 调度器热升级而言，它对龙蜥社区的 cloud kernel 4.19 和 5.10 的支持更加全面，且会持续维护。但本文的 bvt + noise clean CPU 混部插件是支持在 CentOS 3.10 内核上，该内核不属于龙蜥社区，因此 plugsched 对该内核的支持度不是很高，热升级能力和范围不及龙蜥内核。Plugsched 对 3.10 内核的支持后续也不再更新和维护。
03
结语
https://openanolis.cn/sig/Cloud-Kernel
—— 完 ——
加入微信群：添加社区助理-龙蜥社区小龙（微信：openanolis_assis），备注【龙蜥】与你同在；加入钉钉群：扫描下方钉钉群二维码。