中国信通院王月等：数据中心基础设施关键技术应用及发展
The following article is from 信息通信技术与政策 Author 王月，盛凯 等
近年来，全社会数字化转型加快发展，数据中心作为信息化、数字化、智能化发展的基石，产业需求旺盛，呈现应用场景多样化、技术要求差异化的特点。随着信息技术的快速迭代，大数据、云计算、人工智能、区块链等新技术对数据中心的要求各不相同，互联网、工业、金融、电力等不同行业的数据中心建设也千差万别，数据中心底层“风、火、水、电”等基础设施为适应各类上层IT设备和应用的要求，出现了众多新的技术发展方向和热点[1-3]。本文围绕数据中心预制化、智能化、能源再利用等方面剖析了数据中心基础设施热点技术的优缺点，并从技术、管理、能效三方面总结了数据中心基础设施的发展现状和趋势。
1 数据中心基础设施热点技术分析
1.1 预制化大幅加快数据中心建设速度伴随信息技术的快速发展，业务竞争日趋激烈。一方面，用户对数据中心交付时间的要求越来越短，数据中心建设投产的速度也越来越快；另一方面，数据中心涉及的设备和系统繁杂，现场安装调试复杂，为了满足数据中心大规模快速高效部署，产业链相关企业开展了一系列的探索和创新，模块化、预制化成为一种新的建设模式。预制化模式预先标准化设计，工厂组装、集成、预测试，现场即插即用，实现快速安装、快速交付，并减少现场施工带来的安全隐患。我国互联网企业研究数据中心预制模块已超过10年，定义了数据中心内部电气、空调、机柜等子系统以及外部基础设施的接口要求，发布了《数据中心预制模块总体技术要求》等通信行业标准，将数据中心的建设由工地迁移到工厂。
数据中心预制化加快向内外纵深扩展，实现了部件预制、设备预制、系统预制及建筑预制。供配电设备预制装配化在数据中心已经成为一种发展趋势，通过将零散设备集成化，可实现整体设计和交付，减少建设施工成本。近年来，出现了众多更深入的技术创新和探索，如一体化PDU将插接件与PDU二合一设计，去除接线盒，快插连接，可解决高功率配电机柜接入问题、减少故障点、提升可用性。柴发主机预制化较为成熟，如集装箱式的柴发，但配套系统工程属性较强，互联网企业将柴发配套进排风系统、供油系统、消防降噪系统等进行整体设计和预制，实现更为全面、彻底的柴发预制化。巴拿马电源项目，将外电10 kV输入、中压配电、变压器、低压配电等集成优化，缩短供电链路，可工厂预制并测试，随需扩容，提高供电效率。在制冷系统方面，部分厂商开始探索集成化的冷站。向内，为了满足数据中心ICT设备快速部署，互联网公司提出了天蝎整机柜服务器方案，将服务器节点与机柜系统融为一体，按照集中供电、集中散热、集中管理、高密度设计，交付效率提升20 倍，日交付能力提升至1 万台；向外，为了加快数据中心建设，缩短数据中心建筑的建设时间，部分数据中心探索建筑预制化，采用钢结构模式，将柱、梁、楼板等构件在工厂预制，现场安装，可大幅缩短施工工期。
预制化也存在相应风险，一是预制化加快数据中心建设进度是因为其中多个环节并行，减少了安装时间，但若预制化方式使用不当，没有缩短中间环节，那预制化的效果将得不到实现；二是预制化意味着相关设备的规格、配置已经相对明确，如果后期业务更新迭代，相关模块难以进行改造更新，使用寿命可能较短；三是预制化只是一种新的模式，需要根据实际数据中心建设需求、成本、质量、技术等多个方面全盘总体考虑，并非所有项目都真正适合预制化，部分项目预制化的结果并不理想。
1.2 AI技术逐步提升数据中心管理水平随着IoT、AI等新技术的广泛应用，数据中心正在加速实现自动化、无人化、智能化。在基础设施管理方面，可实现基础设施和多个子系统的集中管理，通过数字化3D和数字孪生技术，实现全局可视，包括部件级、设备级、链路级、数据中心级的运行状态、关键参数、故障告警等信息，帮助管理者更直观地掌控数据中心运行状态。在节能优化方面，基于历史数据，通过神经网络算法，指导数据中心根据当前负载工况，按预期进行对应的优化控制，实现最佳能效。例如，数据中心冷冻水空调系统有成百上千的传感器，设备运行工况复杂，百度、华为等公司探索使用AI技术深度理解数据中心制冷控制需求，预测湿球温度，结合业务负荷情况，预测数据中心的制冷负荷和设备最佳运行工况，自动下发并执行系统最佳精细控制策略，大幅提升数据中心能源效率，部分场景下可降低制冷系统能耗15%以上[4-5]。除PUE优化外，管理平台还可与IT设备联动，通过IT业务变化动态调节制冷输出，实现整体最优能效。在智能运维方面，AI预测性维护可以提前识别关键故障（如螺钉松动引起的高温起火风险），取代季度性的人工测温，减少大量人工运维，降低运维成本。
国内外当前已有众多数据中心自动化管理运维的工具和软件，包括DCOS平台、ITSM管理、DCIM工具、BA冷水自控系统、动环监控系统、BIM技术等一系列工具和软件，也出现了不少结合人工智能技术的优秀实践案例，如谷歌数据中心DeepMind宣称通过AI技术可降低冷却能耗40%，相当于降低整个PUE值15%。但数据中心智能化管理在减少人工、优化运营的同时也存在相应问题，一是成本问题，采用AI技术对数据中心的运营进行优化，需部署大量的传感器，采集大量的数据中心运行数据，并将数据进行建模，运用AI技术进行模型训练，投入大量人力、物力，对很多中小企业的数据中心来说，具有一定挑战性，并且AI训练需要公司具备相应AI技术专家，存在一定实施难度[6]；二是安全问题，采用AI技术优化数据中心，数据中心大量核心数据或将上传至云端，数据安全能否保障；三是可靠性问题，数据中心智能化管理系统通过模型训练推理给出一系列的运行措施和建议，部分指令可自动下发执行，如能耗优化过程中，会根据温湿度、IT负载等情况调整数据中心冷机、冷塔、空调末端的运行方式，自动下发设备运行策略的智能操作是否会导致相应设备宕机，或者因模型错误导致运行策略出错引发故障暂未可知。
1.3 数据中心储能和能源再利用成为发展趋势随着数据中心用电量的需求日益攀升，用电成本也逐渐提高，为了错峰用电、优化电网用电结构，部分数据中心探索电价波谷时段储能，电价波峰时段用能，从而降低数据中心用电总成本。另一方面，随着国家绿色数据中心碳达峰、碳中和战略的推进，数据中心使用可再生能源的步伐正在加快，在太阳能、风能富集的地区，数据中心可直接使用可再生能源电力，但太阳能、风能存在周期性、不稳定性的特点，需要进行存储以更大范围使用[7]。
数据中心常用的储能系统是不间断电源UPS/HVDC的储能系统，其中铅酸电池使用最多，主要用作数据中心出现电力故障后的后备电源。近年来，出现了锂离子电池、铅蓄电池、钠硫电池和液流电池等技术，综合经济性、安全性、能量密度等方面的比较，铅炭电池和磷酸铁锂电池更适用于数据中心储能，未来应用前景更为广阔。在数据中心实际储能系统部署层面，有数据中心园区级储能、微模块储能、机柜级储能等方案，互联网公司、大型数据中心企业开展了相应探索，但尚未大规模应用。
数据中心储能具有降低成本、融合可再生能源、削峰填谷、增强灾备能力、优化电能质量等优势，但建设过程中需要注意几个方面：一是安全性，数据中心对安全稳定运行要求较高，电池材料的安全可靠性及电池使用中存在的安全隐患需重点关注；二是经济性，需全面衡量储能系统的建设投资与收益分析；三是部署方式，不同级别的储能方案优缺点不同，需根据数据中心所在位置、规模、管理以及业务需求综合考虑；四是节能环保，采用的相关电池设备是否对环境友好需特别关注，此外电池设备材料处置需要按照相关法律规定执行，减少环境污染。
规模化热回收成为数据中心能源再利用的有效途径。数据中心通过水回收、热收回等资源再利用方式，不断推进数据中心绿色发展的进程。当前，越来越多的数据中心使用水冷却系统，随着水资源消耗快速增长，水资源利用效率（Water Usage Effectiveness，WUE）逐渐得到数据中心管理者的重视，并作为关键指标进行统计、优化。数据中心水回收主要包括排污水再回收、雨水回收等形式。排污水水质具有高盐分、高硬度、高碱度特点，需通过改变浓缩倍数，降低排污水的无机盐含量，一般经过膜法处理后再次回到循环水或其他用水点。对数据中心来说，将雨水作为一种资源再回收利用，回收后的雨水经过净化、消毒等技术处理后，可以作为市政供水的一种有效补充。
当前数据中心的废热能源普遍存在热能品质低、无法直接利用的情况，往往需要借助热泵技术对能质进行提升，再通过区域供热管网输出至用户侧使用。同时，利用设置在能源站内的储热罐进行热能灵活分配，除基本热力需求外还可与公共供热网络连接协助冬季用热调峰[8-9]。万国数据北京三号数据中心成功推动数据中心余热回收对外供热，项目使用螺杆式水源热泵对外实现供热，对内实现了降低数据中心能耗。总体来看，当前我国数据中心热能回收应用案例不多，一方面建设热能回收系统需要投入较大成本，取得的收益不高，经济性不好，其次是余热回收后的热量供给输出，需要与市政、周边社区、单位沟通协调，跨主体沟通协调难度较大。数据中心作为能耗大户，节能降耗、能源再利用已经成为数据中心产业发展的主旋律，未来需进一步研究相关技术和协调机制，推动能源回收再利用,降低碳排放、减少对环境的影响[10]。
2 数据中心基础设施技术发展现状和趋势
2.1 技术从单点突破向全生命周期技术优化伴随新冠肺炎疫情的发展，人民的生产生活方式发生了重大转变,在线购物、在线娱乐、在线办公、自动化生产车间等成为了社会主流，数字经济的快速发展和融合，给数据中心带来了众多挑战。数据量呈现指数级增长，业务量大幅增加，服务器等设备的数量和功率也快速提升，导致单机架功率密度快速提升，2010年我国数据中心平均单机柜功率在1 kW~3 kW，2015年达到3 kW~5 kW，2020年约为6 kW~10 kW，预计2025 年将达到10 kW~15 kW。单机架功率密度提升给供配电系统和制冷系统带来了诸多问题，如变压器、配电柜、UPS等设备容量不足，在线产品维护困难，局部电流过大导致设备温度过高，数据中心出现局部热点，制冷散热满足不了高密度机架的需求。
众多新业务存在不确定性，业务量动态变化，面对突如其来的业务高峰，数据中心需要快速扩容、快速建设、快速投产，基础设施建设需要灵活高效。因此，对基础设施技术的研发创新，不仅聚焦于单个设备的技术创新、单个系统的技术架构，需要从数据中心上层的应用、IT设备的技术更新等方面综合考量，同时结合数据中心设计、建设、运维全生命周期的成本、便利性、复杂度，实现数据中心整体最优，例如微模块、预模块、巴拿马电源、间接蒸发冷却、锂电池等新技术应用要和承载的业务类型、客户类别、企业发展相匹配，随着上层业务需求不断更新完善。近年来，讨论最为火热的液冷技术，单论建设投资成本会相对较高，若考虑运营中降低能耗所节省的成本，从全生命周期考虑，对于高密度数据中心来说或许是一种可行的技术方案。
2.2 管理从数字化向智能化演进数据中心运维管理需要耗费大量人力物力财力，对于一个中等规模的数据中心，运维管理团队需要20~30 人，大型、超大型数据中心需要的将会更多，且需运维值班人员24 h现场值守。但在实际运行过程中，仍然会出现大量的问题和故障，如网络中断、电力中断等造成数据中心瘫痪，除此之外基础设施局部故障也可能影响到用户业务，如2020年谷歌数据中心服务器机架轮子损坏，影响了冷却系统的正常运转，服务器温度过高导致 CPU性能受到遏制，造成一些用户无法正常使用搜索、Gmail等服务。物理基础设施的有效管理和稳定运行对数据中心非常重要，随着数据量的高速增长，新建数据中心以大规模、超大规模为主，海量的设备和复杂的系统为高效管理带来了挑战，数据中心亟需加快数字化、智能化转型，依托DCIM等管理系统提升数据中心运营管理效率，节省成本。当前，国内数据中心大多采用的是动力环境监控系统，统一接入电源、电池、油机、空调、烟感、水浸、门禁、温湿度、视频等终端设备，监控统计相应设备参数，提供集中化运维监控能力，但系统功能和性能参差不齐，系统的数据采集实时性、准确性都有待进一步评估和确认，且市场上众多厂商提供的产品互不兼容，网络传输协议、数据接口、命名规则、告警类别各不相同，为用户多个数据中心的统一管理对接造成一定困难。近年来，数据中心相关设备厂商、大型数据中心企业开始探索将大数据、人工智能等技术用于运维管理中，如提高数据采集的实时性和准确性，研究训练节能、告警等数据模型，开展故障预测等，进一步提升运维管理系统的服务能力和智能化水平。
2.3 能效从绿色节能向低碳零碳发展作为高耗能产业，绿色发展已成为数据中心产业发展的主旋律。近年来，政府、企业以及研究机构开展了一系列数据中心绿色节能的研究和探索，国家和地方政府持续发布数据中心绿色和PUE相关政策，行业协会、研究机构开展数据中心绿色等级评估，企业研发创新各类节能新技术，全国数据中心的平均PUE大幅降低，大型以上数据中心PUE达到1.5左右，能效水平日益提高。
2020年9月22日，在第七十五届联合国大会一般性辩论上，国家主席习近平宣布“中国将提高国家自主贡献度，采取更加有力的政策和措施，CO2排放力争于2030年前达到峰值，努力争取2060年前实现碳中和”。这对各行各业绿色发展提出了更高的要求，数据中心行业作为能耗大户，需要长远考虑，加快节能降碳研究。国际上已有龙头企业走在前列，如谷歌在2007年已经实现碳中和，计划于2030年实现无碳排放，Facebook、微软、亚马逊分别提出到2030年、2030年、2040年实现零碳排放、碳负排放、碳中和的目标。国内企业方面，2020年12月31日，秦淮数据集团宣布到2030年将实现中国运营范围内所有新一代超大规模数据中心100%采用“可再生综合能源解决方案”，集团直接参与投资的清洁能源装机容量将不少于2 GW；2021年1月，腾讯宣布启动碳中和规划，预期将有更多企业加快碳中和的研究和落地。对于数据中心企业而言，除了降低PUE、节约水资源、提高能效，未来还需要通过市场化采购可再生能源、自建可再生能源、购买绿色电力证书等方式，逐步实现数据中心碳中和目标。
3 结束语
随着技术的快速更新迭代，数据中心作为技术创新的制高点，仍会出现众多创新性热点技术，尤其是在国家实现碳中和目标的战略背景下，绿色节能、可再生能源、固碳降碳等新技术将持续火热。技术创新对产业发展具有重要的推动作用，国家及地方政府鼓励支持数据中心产业链各方充分发挥自身优势开展技术创新与应用，但如果技术不匹配相关应用场景，不适合相应用户，新技术则无法发挥其真正的作用。因此，数据中心采用新技术前需要充分评估衡量技术的优劣势以及经济、社会效益，根据实际应用需求开展技术研发创新，确保新技术真正为数据中心降本增效，提升数据中心产业发展质量，支撑数字经济快速增长。
参考文献
[1] 孟月. 何宝宏:数据中心是下一波技术创新制高点[J]. 通信世界, 2020(12):34.
[2] 王月, 李洁. 数据中心有力支撑数字经济快速发展[J]. 信息通信技术与政策, 2019(2):6-9.
[3] 王月, 李洁, 郭亮. 数据中心产业发展分析[J]. 通信管理与技术, 2020(6):13-16.
[4] 郭亮 . 边缘数据中心关键技术和发展趋势[J]. 信息通信技术与政策, 2019(12):55-58.
[5] 郭亮, 钱声攀. 数据中心架构及集成优化研究和发展分析[J]. 信息通信技术与政策, 2019(2):1-5.
[6] 周亮. 数据中心设备及机房的智能化运维管理策略研究[J]. 数码世界, 2020(4):44.
[7] 路煜, 张路, 侯小凤, 等. 数据中心功耗削峰电池的可用性分析[J]. 计算机工程与科学, 2021,43(1):9-16.
[8] 王小元, 赵军, 王永真, 等. 基于CO2热泵的产消型数据中心能效联动优化[J]. 南方能源建设, 2020,7(3):28-37.
[9] 王奖, 张勇军, 李立浧, 等. 数据中心园区能源互联网的关键技术与发展模式[J]. 中国工程科学, 2020,22(4):65-73.
[10] 赵唯, 王为人, 高丹丹. 储能系统在能源互联网中的商业模式研究[J]. 绿色环保建材, 2020(8):22-23.
作者简介
王 月
中国信息通信研究院云计算与大数据研究所数据中心部副主任，工程师，主要从事数据中心相关的政策支撑、产业咨询、技术研究和标准制定等工作。
盛 凯
中国信息通信研究院云计算与大数据研究所数据中心部助理工程师，主要从事数据中心相关的技术研究和标准制定等工作。
常金凤
中国信息通信研究院云计算与大数据研究所数据中心部助理工程师，主要从事数据中心相关的技术研究和标准制定等工作。
吴美希
中国信息通信研究院云计算与大数据研究所数据中心部高级业务主管，助理工程师，主要从事互联网数据中心和边缘数据中心相关的政策支撑、产业咨询、技术研究和标准制定等工作。
论文引用格式
王月, 盛凯, 常金凤, 等. 数据中心基础设施关键技术应用及发展[J]. 信息通信技术与政策, 2021,47(4):27-31.
本文刊于《信息通信技术与政策》2021年 第4期
主办：中国信息通信研究院
《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”，聚焦信息通信领域技术趋势、公共政策、国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。
《信息通信技术与政策》官网开通啦！
http://ictp.caict.ac.cn/
（点击“阅读原文”访问）
校 审 | 陈 力、珊 珊
编 辑 | 凌 霄
推荐阅读
《新基建》专辑