其他
中国信通院李洁等：数据中心发展综述
The following article is from 信息通信技术与政策 Author 李洁，郭亮 等
2010年10月10日，国务院办公厅发布《国务院关于加快培育和发展战略性新兴产业的决定》指出，战略性新兴产业是引导未来经济社会发展的重要力量，发展战略性新兴产业已成为世界主要国家抢占新一轮经济和科技发展制高点的重大战略，并明确提出“促进物联网、云计算的研发和示范应用”[1]，数据中心作为战略性新兴产业的重要基础设施，迎来了大发展。本文对数据中心行业十年来高速发展的历程进行了分阶段的回顾，并对数据中心未来的发展趋势进行了展望。
1 数据中心发展历程
2010—2019年，我国IDC产业规模从2011年的170 亿元达到2020年的1200 亿元左右[2]，回顾这十年数据中心产业的发展特点，可分为以下3个阶段。
1.1 高速扩张阶段2010—2012年，为高速扩张阶段。由于国家对战略性新兴产业的推动和3G的规模商用，数据中心迎来大量投资。在该阶段，全国约有机架18 万个。按照2010年的市场规划，在3~5年可提供35 万个标准机柜，大部分布局在一线城市，平均每个数据中心仅不到300个机柜，规模较小。另外，大部分数据中心PUE在2.5左右，技术和能效水平均偏低；部分新建数据中心上架率较低，存在场地、机架甚至服务器空闲的现象。
1.2 行业引导阶段2013—2016年，为行业引导阶段。随着国家及地方布局政策和相关标准的出台，行业发展趋于冷静，地方政府对数据中心产业定位认识更加清晰，对数据中心产业的引导政策更加明确，数据中心建设企业对市场需求的把控和预期更为理智，将数据中心的建设与应用相结合，提高数据中心上架率，丰富数据中心的业务服务。同时，利用行业组织的力量，开展了大量新技术研发与创新，如整机柜、微模块等，数据中心向技术创新发展迈出更加坚实的步伐。
1.3 优化发展阶段2017—2019年，为优化发展阶段。国家对数据中心日益关注，数据中心被纳入国家新型工业化产业示范基地范畴，数据中心技术水平大幅提升，多个数据中心园区获得国家数据中心示范基地，在行业内开展应用示范。产业链各方企业通过市场竞争之后的梯队局面逐渐形成，龙头企业的市场和技术实力凸显，加快产业生态的建设和完善 。
2020年3月，中共中央政治局常务委员会明确提出“加快5G网络、数据中心等新型基础设施建设进度”，国家发展和改革委员会将数据中心列入“新型基础设施”范畴，数据中心得到了更多资本青睐。边缘和云数据中心的协同、计算和存储的融合、数据中心和网络的协同成为行业主旋律。5G作为无线通信平台，将物联网、数据中心、人工智能以及工业互联网等融合，构成了完整的新一代信息基础设施[3]。
2020年突发的新冠肺炎疫情，迫使更多的教育、办公、餐厅和医疗等转为线上，对数据中心需求量的激增促使腾讯、阿里巴巴、百度、京东和美团等纷纷对数据中心进行扩容，各大第三方服务商也纷纷加快布局。伴随着对数据处理、计算、存储、传递的需求和要求的不断提高，数据中心作为数据的中心、计算的中心、网络的中心，像“树根”一样承托滋养各类信息通信技术的创新、发展和落地，强力支撑数字经济的加速发展。
2.1 整体增速较快数据中心作为信息基础设施，在数字经济高速发展的今天，其规模每年均在快速增长。根据CBRE相关报告[4]，全球数据中心热点区域的IT容量增长率在14% ~ 40%之间。其中，中国、亚太和欧洲等国家和地区的增速较高，美国热点地区增速平稳。亚太地区热点城市的IT容量平均增长率在40%左右，2019 年第一季度，新加坡总的IT容量为359.8 MW，预计2019—2021年将新增177.2 MW；同期，中国香港为299.5 MW，2019—2021年新增50 MW。
数据中心在欧洲最大的市场是法兰克福、伦敦、阿姆斯特丹和巴黎，目前总IT容量为1670 MW，2019年增长了319 MW，增长率为 24%，将近一半的容量是2019年第四季度上线[5]。美国的数据中心热点地区，在2019年IT容量的平均增长率为14.34%，其中北弗吉尼亚为最高将近40%，纽约最低为6%左右[6]。根据工业和信息化部发布的《全国数据中心发展指引》[7]，我国数据中心机架总数由2018年年底的226 万增长到2019年年底的315 万，增长率近40%。从全国数据中心热点地区来看，增长率均超过40%。
2.2 产业效益较大数据中心对社会、对产业带来的直接或者间接的效益巨大。据Copenhagen Economics报告[8]，2007—2018年，谷歌在欧洲投资 69 亿欧元，用于数据中心相关的基础设施建设和运营，这些数据中心分别位于比利时、芬兰、爱尔兰、荷兰、丹麦；在此期间，这些投资每年产生了7.3 亿欧元的GDP（11年共计产生GDP为88 亿欧元），在数据中心相关产业链，平均每年创造9600 个工作岗位。2010—2016年，Facebook在美国投资42 亿美元建设数据中心，对GDP产生了58 亿美元的贡献以及6.01 万个工作岗位[9]；2011—2018年，Facebook在丹麦、爱尔兰和瑞典投资50 亿欧元，创造了23 亿欧元的GDP，并且每年提供了2816 个工作岗位[10]。
受新基建、网络强国、数字经济等国家政策的影响以及新一代信息技术发展的驱动，我国IDC业务收入保持高速增长（见图1）。根据中国信息通信研究院统计[11]，2019年我国IDC行业市场收入达到878 亿元左右，近3年复合增长率约26%，预计未来仍将保持快速增长势头。从社会发展来看，2018年我国数字经济规模达31.3 万亿元[12]，到2019年该数值达到35.8 万亿[13]，数据中心等信息基础设施在数字经济的体系架构中发挥着重要作用。
2.3 算力持续提升数据中心算力水平、机架规模与使用效率密切相关。数据中心机架规模越大表明数据中心能够提供的理论算力越高；数据中心的使用效率越高说明当前提供的实际算力更多。据研究显示[14]，截止到2019年年底，我国数据中心总算力（含通用算力和高性能算力）为 79.74 EFLOPS（FP32）。综合通用计算能力和高性能计算能力的算效，全国数据中心的总体算效达到18.16 GFLOPS/W（FP32）。随着数据中心整体规模的提升，我国的总算力必然会有更大的增长，但是如何在大算力的前提下实现高算效是需要业界共同研究的问题。
3 发展趋势
3.1 高速增长数据中心作为关键信息基础设施，近年来我国市场规模总体快速增长，远高于全球市场平均增速。随着新基建等相关政策的推进,多个地方政府先后出台推动数据中心建设的政策文件，数据中心产业政策环境将持续完善。从产业需求来看，5G、工业互联网、物联网、人工智能等信息技术与应用正加速发展和布局，数据量爆增，对数据中心的需求不断增长，预计未来几年，我国数据中心产业仍继续保持高速增长趋势，加之摩尔定律的减速会进一步推升数据中心的增长速度，预测2021年，我国IDC市场业务收入将达到约1500 亿元，到“十四五”末有望超过4000 亿元。
3.2 优质生态电信运营商及第三方服务商固有的存量市场叠加新服务商进入产生的增量市场，多方势力角逐日趋激烈。白热化的竞争加速数据中心优质化、透明化生态圈构建。各方出于自身优势及特点等多重因素考量，以差异化策略应对激烈竞争。
运营商凭借网络核心优势加速数据中心、网络融合发展，布局边缘节点，如中国电信发布“2+4+31+X”的数据中心布局模式，充分利用各省靠近用户的数据中心资源建设边缘数据中心，满足低时延业务的需求；中国联通发布MEC规模商用网络，未来将在全国完成上千个边缘节点建设，加速边缘数据中心的建设与落地，支撑5G等关键技术与应用。
为巩固服务优势，第三方服务商持续强化提升运营管理能力及客户响应能力，2020年万国数据3个数据中心获得“数据中心绿色等级评估”最高等级5A级，未来将启动更多数据中心绿色升级计划，探索可再生能源应用，以进一步优化数据中心能效，降低运营成本；世纪互联除传统数据中心业务外，在云平台建设和运营、网络互联互通等方面的业务和产品日趋多样化，以满足客户各类业务需求。
3.3 技术创新随着新一代信息技术的高速发展，数据中心作为计算、存储、传输海量数据的实体，逐渐转变为复杂性的聚集地，变成资源密集型、资本密集型、技术密集型产业。数据中心挣脱了传统机房模式的桎梏，技术创新潮正在加速到来，从而转变为技术的输出方。
从科技的角度看，云计算等上层技术对数据中心的IT设备、网络等提出了更高要求，天蝎整机柜服务器、OTII边缘服务器、无损网络、智能网卡、可编程网络等应运而生，成为技术的新热点、研发的新方向。
从基建的角度看，数据中心是“风、火、水、电”的配套设施，ICT设备的演进与创新，倒逼基础设施加速变革，液冷、巴拿马电源、预制化等新技术、新产品已部分应用于大型互联网企业数据中心。
数据中心正在从拿来主义的技术输入方，向新技术、新生态发展，未来必将成为下一波技术创新的制高点，全面体现新基建的科技内涵，更好地支撑上层应用发展，夯实数字经济之基。
3.4 低耗高效随着国家对碳达峰和碳中和的要求，作为能耗大户的数据中心有着非常重要的责任，低碳高效成为数据中心发展的重要方向。
（1）新技术的使用将使数据中心的能源使用效率越来越高。随着间接蒸发冷却、液冷等新技术的成熟和部署，数据中心PUE越来越低[15]。阿里巴巴仁和项目以接近1的PUE值获评数据中心绿色等级AAAAA，以实践说明了数据中心高效能发展趋势[16]。
（2）除了基础设施之外，智能监控与管理对数据中心的高效能运营也非常重要。数据中心的设备数量大、种类多，对应的监控系统也是五花八门，如果缺乏集中式统一的管理将会导致运维任务繁重，且无法保证数据中心的可靠运营。同时，不断上涨的能源成本和计算需求给数据中心的运营带来了巨大的压力，如何提升数据中心的运营效率、减少数据中心的运营成本都是目前急需解决的问题[17]。云计算等新技术将数据中心资源池化，大幅度提高服务器使用率。
报告显示，美国实施的数据中心优化计划（Data Center Optimization Initiative，DCOI）效果显著，2019财年共关闭数据中心102 个，计划关闭184 个，节省2.415 亿美元[18]。
3.5 边云协同4G丰富了移动互联网的应用，短视频、高清电视、在线教育、电子商务等业务发展迅速，这也给云数据中心带来了巨大的流量。5G将给边缘计算带来发展机遇，“大约10%的企业生成的数据是在传统的集中式数据中心或云之外创建和处理的”，Gartner预测，“到2025年，这一数字将达到75%”[19]。边缘计算由于它的分布式、高密度、低时延和安全性[20]将会给5G带来巨大的支撑，未来5G+边缘的市场空间充满想象。
对于云数据中心来说，基础设施的技术和产品都已经相对成熟。从供配电到散热，再到服务器，无论是传统的部署还是模块化部署，都已经优化到了很高的程度。对于边缘数据中心而言，是否采用与云数据中心同样的技术路线还有待商榷[21]。边缘数据中心的建设、运维应有其独有的特点。未来，“边缘+云端”将是数据中心布局的必然趋势。
3.6 数网协同工业和信息化部数据显示[22]，目前54%的数据中心为直接接入骨干网，34%的数据中心接入城域网。从实际测试结果来看，以重庆为源点，去往上海仅为15 ms，去往北京为33 ms，去往深圳为18 ms，这跟重庆到北京/上海/深圳的距离不成正比。从各地的数据中心数量、上架率和网络情况来看，在现有的网络条件下，数网协同还无法支撑全国数据中心的布局优化，亟待破局[23]。
据思科2020年预测[24]，未来5年，全球数据中心IP流量将会扩大3倍。要实现“东数西算”等美好愿景，网络将会承担非常重要的作用。大量的数据将会被从东部传输到西部，这需要极大的网络带宽和更少的网络跳转才能保证数据的传送质量。在IDC内部，SDN/NFV已经传输了23%的流量，2021年这个数字会达到44%。SDN调度广域网将会对优化广域网链路利用率、保障网络质量起到关键的作用。部署SDN之后，将具备网络需求和网络组织的全局视图，可对所有流量计算出最佳路径，确定数据包的网络行为，从而减少保护性带宽的需要，少量的资源即可获得更高的网络质量，网络利用率可由低于30%提升并稳定在70%以上[25]。
3.7 人才培训随着数据中心产业需求的高速增长，大量新建的数据中心投产，对数据中心运维人员的数量需求激增。另一方面，数据中心单体规模扩大，新技术层出不穷，对数据中心运维人员的知识水平、技术能力要求也不断提高，数据中心运维人才短缺成为突出问题，西部地区数据中心初级运维工程师供应不足，东部地区高水平运维人员招聘较难。
数据中心作为新兴产业，涉及学科、领域较多，尚无高校专业化的培养，仅有第三方机构和平台，探索数据中心运维人才培养新模式，如中国信息通信研究院联合企业、政府、高校等部门，采用理论+实操模式，通过定制化培训、专向培训向数据中心企业输送优质人才，在中卫等地已取得明显成效，支撑当地数据中心运维服务水平不断提高。未来第三方的人才培养培训，将成为缓解数据中心运维人才的有效途径。
3.8 AI赋能
AI应用需要大量的GPU加速计算实现。同时，AI又可以反哺数据中心的统筹管理，支撑数据中心的运维和故障预测等。在数据中心基础设施层面，通过采集和分析监测点的温湿度和空气流动模型，自动调节制冷设备和配电设备的输出以使能源获得更高效的利用。通过基于AI的数据分析和挖掘可以提前预测服务器、交换机以及SSD故障，减少数据中心的宕机风险。AI还可以对数据中心进行自动化运维，实现无人值守，提升数据中心的安全等级。早在2016年，Google就将DeepMind的机器学习应用到数据中心中，成功地将用于冷却的能量减少了40%[26]。AI在数据中心的各个方面显示出了巨大的潜力。未来，AI将通过主动帮助灾难恢复来主导数据中心的运维服务。因此，数据中心和第三方服务商必须利用AI来跟上新兴的技术趋势并获得竞争优势。
4 结束语
2010—2020年，是我国数据中心产业高速发展的十年。在政府、行业组织和产业界共同的努力下，各项成果层出不穷。随着碳达峰和碳中和的提出，作为能源消耗大户的数据中心的绿色化必然会受到更多的关注。未来，低耗高效、边云协同、数网协同及AI赋能等必然成为数据中心发展的重要趋势，需要业界作更多的努力和探索，共同推动数据中心产业的健康发展。
参考文献
[1] 国务院办公厅. 国务院关于加快培育和发展战略性新兴产业的决定[EB/OL]. (2010-10-18)[2021-1-11]. http://www.gov.cn/zhengce/content/2010-10/18/content_1274.htm.[2] 中国信息通信研究院, 开放数据中心委员会. 数据中心白皮书(2020)[R], 2020.[3] 邬贺铨. 5G引领新基建, 赋能新应用[J]. 清华金融评论, 2020(6):25-28.[4] CBRE Research. ASIA Pacific data centres trend Q1 2019[R], 2019.[5] CBRE Research. EUROPE data center Q4 2019[R],2019.[6] CBRE Research. North American data center report H2 2019[R], 2020.[7] 工业和信息化部通信发展司. 全国数据中心发展指引[M]. 北京:人民邮电出版社, 2020.[8] Copenhagen Economics. Google’s hyperscale data centres and infrastructure ecosystem in EUROPE[R], 2019.[9] RTI. The impact of Facebook’s U.S. data center fleet[R], 2018.[10] IHS Markit. The economic contribution of Facebook data centres in Denmark, Ireland, and Sweden[R], 2019.[11] 中国信息通信研究院, 开放数据中心委员会. 数据中心白皮书(2020)[R], 2020.[12] 中国信息通信研究院. 中国数字经济发展与就业白皮书(2019)[R], 2019.[13] 中国信息通信研究院. 中国数字经济发展白皮书(2020)[R], 2020.[14] 郭亮, 吴美希, 王峰, 等. 数据中心算力评估:现状与机遇[J]. 信息通信技术与政策, 2021,47(2):79-86.[15] 郭亮, 李洁. 液冷:数据中心制冷变革大幕开启[N]. 人民邮电, 2018-03-15(007).[16] ODCC. 阿里巴巴浙江云计算仁和液冷数据中心[EB/OL]. (2020-12-30)[2021-01-11]. http://www.odcc.org.cn/auth/v-1344170713507409922.html.[17] 郭亮. 数据中心创新之路[M]. 北京:人民邮电出版社, 2019.[18] United States Government Accountability Office. Data center optimization agencies report progress, but oversight and cybersecurity risks need to be addressed[R], 2020.[19] Gartner. What Edge Computing Means for infrastructure and operations leaders[EB/OL]. (2018-10-03)[2021-01-11]. https://www.gartner.com/smarterwithgartner/whatedge-computing-means-for-infrastructure-and-operationsleaders/.[20] KPMG. The 5G edge computing value opportunity[R],2020.[21] 郭亮. 边缘数据中心关键技术和发展趋势[J]. 信息通信技术与政策, 2019(12):55-58.[22] 中国信息通信研究院, 上海有孚网络股份有限公司. 我国典型地区数据中心网络性能分析报告(2020)[R], 2020.[23] 郭亮, 何宝宏. 数网协同是必然趋势 进一步推动数据中心发展[J]. 通信世界, 2020(12):39-40.[24] Cisco. 2020 global networking trends report[R], 2020.[25] 席晓. 三大优势加身SDN成广域网优化重要手段[J]. 通信世界, 2017(15):50-51.[26] DeepMind. DeepMind AI reduces Google data centre cooling bill by 40%[EB/OL]. (2016-07-20)[2021-01-11]. https://deepmind.com/blog/article/deepmind-aireduces-google-data-centre-cooling-bill-40.
作者简介
李 洁
中国信息通信研究院云计算与大数据研究所副所长，博士，正高级工程师，主要从事数据中心领域的新技术研究、标准制定和政府支撑等工作。
郭 亮
中国信息通信研究院云计算与大数据研究所副总工程师，高级工程师，长期从事数据中心领域的基础设施、服务器、存储和网络等研究工作。
谢丽娜
中国信息通信研究院云计算与大数据研究所高级业务主管，工程师，主要从事数据中心的服务器以及相关的标准制定、行业咨询等工作。
论文引用格式
李洁, 郭亮, 谢丽娜. 数据中心发展综述[J]. 信息通信技术与政策, 2021,47(4):13-18.
本文刊于《信息通信技术与政策》2021年 第4期
主办：中国信息通信研究院
《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”，聚焦信息通信领域技术趋势、公共政策、国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。
《信息通信技术与政策》官网开通啦！
http://ictp.caict.ac.cn/
（点击“阅读原文”访问）
校 审 | 陈 力、珊 珊
编 辑 | 凌 霄
推荐阅读
《新基建》专辑