高文院士:算力网络是算力发展的必然趋势
算力时代的到来让大模型成为近期AI领域的热点话题。在算力支撑下,大模型正在改变AI领域的关键创新。在减少对有标记训练数据的要求方面,ChatGPT、GPT-4、ViT(视觉转换器)等通用智能模型发展迅速。目前,国际上已形成以谷歌BERT/ViT和OpenAI GPT为代表的AI大模型研发与应用生态。算力网络是算力发展的必然趋势,如同电力跨越到电力网。未来,算力网络会像今天的电力网一样,用户可随时随地访问任意的算力资源。
“智能算力正在改变科学创新模式,如可加速药物发现和生物学创新。智能算力也与GDP密切相关,能够助力数字经济高效发展。”
大模型实际上是算法、数据、算力的有效结合,由超级智能算力产生。2022年,我国正式启动“东数西算”工程,通过构建数据中心、云计算、大数据一体化的新型算力网络体系,将东部算力需求有序引导到西部,优化数据中心建设布局,促进东西部协同联动。东数西算是“算力”消费时代之元年。
“东数西算”明确把数据中心和算力中心作为基建投资对象进行布局,以往只有能源、电力等核心产业才受到如此重视。数据中心和算力中心目前的市场规模在百亿元以内,蕴含巨大的消费发展空间。
从西电东送、东数西存到东数西算,算力枢纽间直连互联、构建算力网络,为未来算力资源跨区域灵活调配提供通道基础;打通跨行业、跨地区、跨层级的算力资源,形成算力服务资源池,让算力成为电力一样的公共资源。
“像建设电网一样建设国家算力网,像运营互联网一样运营算力网,让用户像用电一样方便地使用算力。”
算力网络与电力网有诸多相似之处,也有着相同的发展愿景。中国算力网的建设愿景是:像建设电网一样建设国家算力网,像运营互联网一样运营算力网,让用户像用电一样方便地使用算力。为了达成这一愿景,中国算力网建设的主要目标包括:构建自主创新的算力网络技术体系,建成覆盖国家超算中心、智算中心、数据中心等大型异构算力中心互联互通、高效协同的国家级算力网络基础设施,推动实现算力供给模式的变革。
“但需要看到的是,目前中国算力网正面临挑战。”
第一,网络挑战。算力中心分散在全国各地,通过“超高压”的远程高速通信,让所有算力网节点实现异构算力资源的共享,亟须突破超宽带、超低延迟的网络连接,比如带宽达到100 Tbit/s 以上、延迟每200公里不超过1毫秒;多芯光纤、相干光通信、波分复用等是可能的突破技术。
第二,算力多样性挑战。集中的大型云算力节点(CPU集群)、智算中心节点(GPU集群)、超级计算机节点(混合集群)、分散的边缘节点(嵌入式设备),亟须实现异构节点直联互通。
第三,芯片和指令系统的异构挑战。底层芯片异构,提供CPU的包括Intel x86、AMD、ARM英伟达、摩尔线程、天数智芯等不同厂商;AI芯片异构,来源包括华为NPU、英伟达GPU、寒武纪MLU、海光DCU、平头哥含光NPU等厂商。不同芯片厂商对异构算力中心的统一适配和调度的研究和开发意愿低,而倾向自治管理。如何获得底层芯片厂商的支持,实现算力中心的统一适配与调度是一大挑战。
第四,运营商各自为战的挑战。面对多样性的网络资源,网络运营商专注于用户体验和效益,不同企业之间难以互通,算力网络建设期投入量大但产出滞后,如何提升企业意愿也是一大挑战。
基于此,国家应尽快成立算力基础设施研究中心和“东数西算”工程技术的试验场,建设开放性平台,与现有网络系统互联互用,研发面向“东数西算”的管理、调试等,形成算力网的核心技术、基础软件和关键系统。
2.干货!近年火热的DCMM认证到底是什么?(附全国各地政策奖补明细)3.2023中国睡眠大数据中心在京成立——“睡眠可视化”提供有力数据支持和资源整合 公众号推荐