专题丨数据中心效率提升的最佳颗粒度思考
作者简介
韩会先
维谛技术有限公司资深专家、深圳发改委专家库专家、开放数据中心委员会技术专家，主要从事绿色低碳数据中心规划设计、项目管理、测试验收、运行维护、评估认证等工作。
柯芊
中国信息通信研究院云计算与大数据研究所数据中心部助理工程师，主要从事数据中心相关的技术研究和标准制定等工作。
论文引用格式：
韩会先, 柯芊. 数据中心效率提升的最佳颗粒度思考[J]. 信息通信技术与政策, 2022,48(3):47-54.
数据中心效率提升的最佳颗粒度思考
韩会先1 柯芊2
（1. 维谛技术有限公司，北京 100012；2. 中国信息通信研究院云计算与大数据研究所，北京 100191）
摘要：数据中心是数字时代的信息底座，近年来呈现高速发展的态势，其能耗问题日益严重。为提升数据中心整体使用效率，立足最佳颗粒度设计原则，以分散性制冷系统的最佳颗粒度设计方案为实例，深入分析散热和制冷的精确匹配，由此拓展数据中心设施层面的精细化调整，并提出数据中心算效、水效和碳效方面的架构设计、工况选择和能源选择等最佳颗粒度思考。
关键词：数据中心；效率；最佳颗粒度
中图分类号：TP308 文献标志码：A
引用格式：韩会先, 柯芊. 数据中心效率提升的最佳颗粒度思考[J]. 信息通信技术与政策, 2022,48(3):47-54.
DOI：10.12267/j.issn.2096-5931.2022.03.008
0 引言
数据中心是新一代信息通信技术的算力载体，已经成为数字经济时代不可或缺的底座，随着各行业信息化、数字化转型进程加快，数据中心产业高速发展[1-4]，根据中国信息通信研究院数据，2016—2019年，我国数据中心机架数增加近200万个，增长率高达154%[5]。需要注意的是，数据中心自身能耗也在持续走高，2020年我国数据中心耗电量达900多亿千瓦时，约占全国总耗电量的1.25%，随着国家双碳战略的提出,能耗的持续增长一定程度上制约了数据中心行业的发展，提升数据中心整体能源使用效率成为数据中心行业当前亟待解决的问题。
本文以提升数据中心制冷能效作为主要论述内容，提出数据中心微模块制冷能力与IT机柜的最佳颗粒度设计，达到制冷与散热精确匹配、能效最优的效果，并由此扩展管路系统、服务器以及供电系统的最佳颗粒度设计方案。并且，为提升数据中心整体使用效率，本文从算效、水效和碳效等三个方面，分别提出了关于效率提升的最佳颗粒度思考。
1 制冷能效是节能优先的主要动力
电能利用效率PUE，表征数据中心电能利用效率的参数，其数值为数据中心内所有用电设备消耗的总电能与所有电子信息设备消耗的总电能之比，是数据中心研究、设计、建设和运维的主要能耗评价指标，基于国标GB40879-2021、GB55015、GB55016-2021以及行标YDT2543标准的实施，当前数据中心能效PUE分解见公式（1）。
PUE=[IT系统能耗+制冷系统能耗+供配电系统能耗+其他能耗(照明等)]/IT系统能耗=1+制冷能耗因子(CLF)+供电能耗因子(PLF)+其他能耗因子(OLF) （1）
以北京地区某设计PUE为1.3的数据中心为例，机房面积8 000 m2，假定IT负载为10 000 kW。制冷能耗因子方面，IT设备制冷系统回风温度按照35°处理，采用磁悬浮或气悬浮冷水系统，IT设备制冷系统全部采用通道隔离方案（即冷通道和热通道都封闭）；配电间和面积负荷（含独立电池间）的制冷系统各自独立，空调回风温度按照28°处理，采用变频制冷和热泵系统，配电间设备也采取通道隔离方案。
根据制冷用途，制冷能耗因子（CLF）可分成主用IT设备用制冷能耗因子（CLF1），供配电系统用制冷能耗因子（CLF2），面积负荷用制冷能耗因子（CLF3），新风、除加湿用等配套制冷能耗因子（CLF4），按照GB/T19413-2010《计算机和数据处理机房用单元式空气调节机》和GB40879-2021《数据中心能效限定值及能效等级》划分的5个温度区间，主用IT设备、供配电系统、面积负荷的制冷能耗计算分别如表1、表2、表3所示。
表1 主用IT设备用制冷能耗计算（IT负载10 000 kW，IT负载全年耗电量87 600 000 kWh，空调冷量输出率100%)
表2 供配电系统用制冷能耗计算（配电负载681.63 kW，空调冷量输出率100%）
表3 面积负荷用制冷能耗计算（围护结构机房面积8000.00 m2，单位面积制冷量0.08 kW/m2，围护结构环境冷负荷640 kW，空调负载率100%）
主用IT设备用制冷能耗因子CLF1= 5个温度区间耗电量和/IT负载全年耗电量=11 918 007/87 600 000=0.136，即用于IT设备的磁悬浮空调系统年平均理论能效为7.35。
配电间（不考虑变压器）用制冷能耗因子CLF2 = 5个温度区间耗电量和/IT负载全年耗电量=1 005 975 /87 600 000 = 0.011 5（四舍五入），即用于供配电系统的空调系统年平均理论能效为5.93。
面积负荷（含独立的电池间）用制冷能耗CLF3 = 5个温度区间耗电量和/IT负载全年耗电量= 944 410.92/87 600 000 = 0.010 8（四舍五入），即用于面积负荷的空调系统年平均理论能效为5.94（备注：假设面积冷负荷与面积热负荷一样，在此仅是说明计算方法，5个温度点对应的能效以实测报告为准）。
按照数据中心制冷能耗规律推测，粗略统计除加湿、VRV、新风、消防排烟等部分用的制冷能耗占IT负载的2%，因此制冷理论能耗因子CLF = CLF1（IT部分）+CLF2（配电部分）+CLF3（面积负荷部分）+CLF4（除加湿、VRV、新风、消防排烟等部分）=0.136+0.0115+0.010 8+0.02（预估）= 0.178 3。
供电能耗因子方面，以当前数据中心供配电系统主流效率计算，UPS供配电系统损耗占IT负载的6.89%计算，变压器整体损耗占IT负载的1.5%计算，柴发系统损耗占IT负载的0.4%计算，线路及开关等损耗占IT负载的1%计算。因此，供电能耗因子PLF=PLF1（UPS不间断电源）+PLF2（变压器）+PLF3（柴发）+PLF4（线路及开关等）=0.068 9+0.015+0.004+0.01=0.097 9。
其他能耗因子方面，根据数据中心PUE为1.3，照明系统、安防监控系统、排污及水处理等以及供水泵能耗，总计按照占IT负载的2.38%计算。因此，其他能耗因子OLF=OLF1（照明）+OLF2（安防监控系统）+OLF3（排污及水处理等）+OLF4（供水泵）=0.023 8。
从上述计算过程可以得到，制冷能耗因子占数据中心整体能耗的14%，占除IT设备以外的基础设施能耗59%。在当前数据中心制冷系统的配置计算条件下，通过规律总结得出(1+CLF1+CLF2a)×(1-η)=PLF1 （2）
其中，CLF1—主用IT设备用制冷能耗因子，CLF2a—给UPS制冷的能耗因子，η—UPS的效率，PLF1—UPS不间断电源供电能耗因子。当IT机房用空调系统EER1=配电间UPS用制冷系统EER2时，即UPS与IT部分都采用同样的封闭通道和同样的送风温度时，CLF2a≈PLF1×CLF1 （3）
lim理论PUE≈(1+CLF)(1+PLF) （4）
故假定配电系统损耗不变的情况下，制冷系统的能耗严重影响PUE走势，这就要求我们必须考虑制冷系统处于最佳能效区，当制冷系统处于最佳能效区时，整体能效能够得到最大程度地优化。而当前制冷系统的最佳能效取决于冷媒泵（压缩机、氟泵、水泵等）本身的最佳能效匹配，这就涉及到压缩机容量颗粒度的问题，究竟选多大单个压缩机容量来满足制冷系统的最佳能效。
2 分散性制冷系统的最佳颗粒度设计
2.1 微模块列间末端制冷能力的最佳匹配在满足国家能耗双控目标下，以节能优先为原则，着重提升数据中心制冷能效。考虑到业务实际发展需要，及满足不同负载率阶段PUE的需求（不能只考虑IT满载的情况，IT满载需要周期较长，完全不能满足国家能耗双控目标），分散性的制冷系统颗粒度设计将成为提升能效的主要趋势。分散式制冷系统需满足客户单个微模块、单个房间、单层楼、单幢楼等情况下的PUE达标，故在此以单个微模块作为基础颗粒度，也是本文主要研究对象，以下所介绍的单个微模块的设计可以适用于不同的制冷系统，而不是局限于某一特定制冷系统。
以当前满足综合性价比相对最佳的一种方式——微模块使用列间末端送风方式为例，在列间末端送风尺寸与机柜相同的限定条件下，列间空调的最大制冷能力为60 kW左右，在能效满足更低PUE需求且综合造价较低的选择下，最小制冷能力为50 kW左右，即列间空调制冷能力配置为50~60 kW。考虑到列间末端备份情况，通常采用【(3+1)×N】的方式，即列间末端实际运行制冷能力输出为75%（全部热备份运行方式）。考虑到人员维护及逃生需求，单列长度不超过15 m的要求（包含通道两端隔离门的框架厚度），单列机柜数最大为24个（24×0.6=14.4 m），单个微通道最大柜位数为48个。表4 微模块列间末端制冷能力和机柜功率颗粒度设计
制冷系统为4(3+1)个列间空调时，即主用制冷能力为150~180 kW(=3×(50~60 kW))，在单个微通道最大柜位数的基础上，除去列间空调所占的机柜数4，IT机柜数为44个，对应单机柜功率为(150-180)/(48-4)=(3.4-4.1)kW，以制冷系统能效为4.0计算，合计所需电力是IT机柜用电和列间空调用电总和187.5~225 kW((150~180)+(150~180)/4=187.5~225 kW)。
以此类推，制冷系统为4、8、12、16、24个列间空调时，可以分别计算出相对应的单机柜功率和所需电力功率。
综上所述，通过制冷颗粒度【(3+1)×N】优先的前提下，可以看出不同IT负载的最佳机柜数组合，即所谓的最佳微模块颗粒度,达到IT负载散热与制冷的高效匹配。随着AI控制技术的进步，未来最佳颗粒度会正式步入【(4+1)×N】模式，即行业“二八”原则，以获取最佳的性能及最佳运营成本。如当制冷系统为10(=(4+1)×2)个列间时，即主用制冷能力为400~480kW，对应单机柜功率为(400-480)/(48-10)=(10.5-12.6)kW，合计38个IT机柜，合计所需电力500~600 kW，备份制冷能力为100~120 kW，对应压缩机颗粒度(100~120kW)×4为佳。以当前消防分区800 m2为界，一个消防分区可以放置8套颗粒度模块左右。
2.2 管路系统最佳设计相关衍生出的管路系统同样是【(3+1)×N】模式为最佳颗粒度，当前环网、双管路的设计必须满足最低流速和最高流速（不同流体不一样）的需求，即G=S×V （5）其中，G—流量，S—管道截面积，V—流速。
以水系统为例，流速低于0.5 m/s是不建议的，尤其是0.25 m/s以下；最高流速建议在1~2 m/s之间，不建议超过2 m/s（除非特殊场合与非节能需求），当1幢数据中心采用冷水主机3+1配置，管路2N设计，当用户负载满载时，管道流速为1 m/s（2N管路必须同时运行，防止水路故障；如果管路里是制冷剂，还涉及制冷阀门造价、快速隔离以及泄漏量大导致人员窒息与故障恢复需要更长时间的问题），如果用户负载仅有50%时，管道流速为0.5 m/s（已达危险地步），如果用户负载进一步下降（所需冷量不足单台冷机），可想而知，按照正常思路，系统无法正常运转。此种情况下只能采取非常规手段，增加各管段流速，导致能耗浪费严重。同时，还涉及主机流量分配不均问题（如果是气态冷媒，更严重），导致主机宕机等严重后果。
为避免上述能耗浪费、流量分配不均以及主机宕机等严重后果，建议根据实际业务发展需求，采取分散式制冷系统，采用合适的颗粒度系统（如单套6 000 kW系统，分成2个3 000 kW；或4个1 500 kW；……或60个100 kW系统），以满足模块、房间、层、楼、园区不同负载下的PUE国家政策和地方政策，实现智能化、精细化、可扩展管理，如表5所示为某场地设计单系统能效表展示如表5和某园区PUE统计展示表6所示，根据场地的实际负载情况调节分散性制冷系统中各设备的功耗，实现总体能效处于较优的水平。表5 某场地设计单系统能效表展示
表6 某园区PUE统计展示
2.3 服务器最佳颗粒度设计根据最佳颗粒度设计方案，液冷型服务器（冷板、喷液、浸没式）也同样适用。依旧采用【(3+1)×N】模式，将制冷颗粒度折算成冷媒泵（油泵、制冷剂泵、水泵等）的最佳颗粒度。根据公式（6），可确定液体泵的最佳颗粒度。Q=CP×G×(t2-t1) （6）
其中，Q为冷量，Cp为冷却介质的比热容，G为流量，t2-t1表示温差。
从理论计算模型北京地区看，供配电架构一致，负载率一致，算效一致，CPU温度一致，采用全封闭方式（即仅考虑满足服务器本身自循环），高温风冷服务器和浸没式液冷服务器所使用的制冷系统CLF1因子相差不到0.01，即整体PUE相差不到0.01（根据地域不同相差在0.0005~0.03之间），环境温度25°以上浸没式液冷服务器制冷因子有优势，环境温度25°以下高温风冷服务器制冷因子有优势。
2.4 供电系统最佳颗粒度设计扩展同样采用最佳颗粒度设计方案，进一步向上拓展不间断电源最佳颗粒度，变压器最佳容量颗粒度和数量，以及确定制冷架构及供配电架构的优化方向。确保模块与市电供电2N的架构前提下，整体供电系统也可采用颗粒度【(3+1)×N】模式，即3×N为主要供电，1×N为备用供电，减少不间断电源、变压器供电链路投资，同时在市电容量一定的情况下,可以提高供给IT类负载的供电，即3/4用于IT负载供电，1/4用于制冷及其他供电。减少向电网索取供电保障衍生出的空余电量回收再利用等一系列问题。
通过上述讨论，获得超高能效不仅依赖于技术创新的不断融合发展，不断AI寻优，平衡云化负载，同时也可以通过不同能耗系统的最佳颗粒度设计，降低CLF至0.1以下，降低PLF至0.05以下，以获得PUE低至1.15以下；降低CLF至0.06以下，降低PLF至0.04以下，获得PUE低至1.1以下。
3 数据中心整体效率优化的最佳颗粒度设计
3.1 DSA架构提升数据中心算效数据中心算效是算力与功耗的比值[6]，根据公式（7），算效是兼顾了数据中心计算性能与功耗的一种效率，提升算效，不仅能够降低服务器本身的运行成本，同时还可以降低数据中心制冷设备的运行成本，从而降低数据中心整体供电负担，降低整体能耗。
其中，CE—算效（Computational Efficiency），CP—算力（Computational Power），CP=f（通用算力、高性能算力、存储算力、网络能力）。
根据开放数据中心委员会发布的《数据中心算力白皮书》[7]，截至2019年年底，我国数据中心的通用计算能力的算效为15.7 GFLOPS/W(FP32)；高性能计算能力的算效为22.8 GFLOPS/W(FP64)，折算为单精度浮点的算效为45.5 GFLOPS/W(FP32)。综合通用计算能力和高性能计算能力的算效，全国数据中心的总体算效达到18.16 GFLOPS/W(FP32)。到2023年总算力超过200 EFLOPS，高性能算力占比达10%，在算效不变情况下，合计所需平均功率为1 190万kW，年耗电量为1 042亿度。如果算效提升10%，则所需平均功率为1 082万kW，年耗电量为948亿度。
随着登纳德缩放定律和摩尔定律的逐渐失效,标准微处理器性能提升减缓[8]。阿姆达尔于1967年提出系统中对某一部件采用更快执行方式所能获得的系统性能改进程度，取决于这种执行方式被使用的频率，或所占总执行时间的比例。根据阿姆达尔定律：改进后的执行时间=受改进影响的执行时间/改进量+不受影响的执行时间 （8）
因此，可以通过改进系统中使用频率较高或者运行较慢的组件，提升系统特定性能，减少系统运行时间，整体上降低系统能耗，逐渐实现工作负载与功耗成比例计算。通过DSA（Domain-Specific Architectures，特定领域的体系结构）架构、云化数据等方法不断提升算效，DSA或将成为未来十年甚至更长时间，计算机体系结构的趋势。
3.2 分时段喷淋提升数据中心水效2010年绿色网格定义了水资源利用效率WUE，以帮助讨论数据中心水消耗量。对于使用冷冻水空调冷却系统或者间接蒸发冷却系统的数据中心，水资源消耗严重，尤其是存在蒸发冷却的开式系统，水资源消耗量较高。除此之外，冷却系统定期清洗和加水也需要一定水资源用量。
水资源利用效率WUE，其定义是数据中心的年度用水量除以IT设备的能源，以升/千瓦时计算。水利用效率指标应包括现场使用的水。
其中，L总耗水为输入数据中心的总水量，包括加湿给水、冷却塔补水、冷冻水补水等，单位是L，WUE指标需要测量全年累计水流量，即ΣL总耗水。ΣPIT为数据中心IT设备耗电，包括数据中心计算、存储、网络等IT设备耗电总和。
以北京地区间接蒸发冷却系统为例，采用对应最佳制冷颗粒度模式，选取合适室外散热颗粒度机组，采用热备运行方式，将全年气温分成15℃~20℃、20℃~25℃、25℃~30℃和30℃以上，为保障水的有效蒸发带来的实际温降，设置喷淋开启条件为干湿球温差超过5°，按照温度区间所对应的时间计算总耗水量，具体数据如表7。根据理论计算得出结论，在设计最大耗水的条件下，即15°以上开启喷淋，全年WUE为1.13 L/kWh，可满足国家“十四五”规划用水量下降的需求。表7 分时段喷淋计算的WUE值和耗水量
3.3 可再生能源提升数据中心碳效
近年来，碳利用效率CUE在国际上获得广泛关注。CUE是国家双碳战略发展背景下数据中心运营中的量化碳排放指标，可直观反映碳排放情况，该指标将为降低数据中心碳排放、提高资源使用效率奠定基础[9-10]。具体来说，CUE是指数据中心CO2总排放量与IT负载能源消耗的比值，是测量和计算数据中心碳利用效率的方法。
碳利用效率CUE计算公式：
所有IT负载能耗是指与所有IT设备相关的负载的能源消耗，包括计算、存储和网络设备，以及用于监控或以其他方式控制数据中心的补充设备，如KVM切换器、监视器和工作站/笔记本电脑。
通过增加可再生能源在数据中心能源使用中的占比，可有效减低数据中心的碳排放，提高数据中心的碳使用效率。
4 结束语
随着上层业务的快速扩张和技术架构的升级迭代，数据中心行业将从粗放发展阶段迈入精细运营阶段。为提升数据中心整体能源使用效率，本文从能效、算效、水效和碳效等四个方面提出最佳颗粒度设计思考，实质是根据数据中心不同使用场景的灵活调整，也可以看作是特殊使用场景下的专用化设计，未来随着数据中心运营的精细化程度加深，数据中心效率提升的最佳颗粒度将不断细化，单功耗成本下的能力输出也将不断提升，助力我国数据中心行业的绿色低碳可持续发展，构筑节能高效的数字底座。
参考文献
[1] 王月, 李洁. 数据中心有力支撑数字经济快速发展[J]. 信息通信技术与政策, 2019(2):6-9.[2] 王月, 李洁, 郭亮. 数据中心产业发展分析[J]. 通信管理与技术, 2020(6):13-16.[3] 中国信息通信研究院, 开放数据中心委员会. 数据中心白皮书(2020)[R], 2020.[4] 李洁, 郭亮, 谢丽娜. 数据中心发展综述[J]. 信息通信技术与政策, 2021,47(4):13-18.[5]工业和信息化部信息通信发展司. 全国数据中心应用发展指引(2019)[M]. 北京:人民邮电出版社, 2020.[6] 郭亮, 吴美希, 王峰, 等. 数据中心算力评估:现状与机遇[J]. 信息通信技术与政策, 2021,47(2):79-86.[7] 中国信息通信研究院, 开放数据中心委员会. 数据中心算力白皮书(2020)[R], 2020.[8] John LH, David AP. A new golden age for computer architecture[J]. Communication of the ACM, 2019,62(2):48-60.[9] 王月, 张一星, 李洁. 数据中心低碳发展分析与展望[J]. 通信世界, 2021(15):42-44.[10] 张一星, 常金凤. 双碳背景下数据中心企业发展与应用实践[J]. 中国电信业, 2021(S1):26-30.
Optimal granular thoughts on data center efficiency improvement
HAN Huixian1, Ke Qian2
(1. Vertiv Co., Ltd., Beijing 100191, China; 2. Cloud Computing & Big Research Institute, China Academy of Information and Communications Technology, Beijing 100191, China)
Abstract: The datacenter is the database to the digital era, has shown a trend of rapid development in recent years, and the energy consumption problem of the datacenter industry is becoming more and more serious. In order to improve the overall utilization efficiency of the datacenter, this paper is based on the principle of optimal granularity design, takes the optimal particle size design scheme of a decentralized refrigeration system as an example, analyzes the precise matching of heat dissipation and refrigeration, thereby expands the fine adjustment of the data center facility level, and puts forward the best granularity thinking on architecture design, working condition selection and energy selection about the datacenter computing efficiency, water efficiency and carbon efficiency.Keywords: datacenter; efficiency; optimal granularity
本文刊于《信息通信技术与政策》2022年 第3期
主办：中国信息通信研究院
《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”，聚焦信息通信领域技术趋势、公共政策、国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。
《信息通信技术与政策》官网开通啦！
为进一步提高期刊信息化建设水平，为广大学者提供更优质的服务，我刊于2020年11月18日起正式推出官方网站，现已进入网站试运行阶段。我们将以更专业的态度、更丰富的内容、更权威的报道，继续提供有前瞻性、指导性、实用性的优秀文稿，为建设网络强国和制造强国作出更大贡献！
推荐阅读
你“在看”我吗？