解读操作系统的2021:触到了创新的天花板,却站在巨变的前夜
本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一,由 InfoQ 编辑部制作呈现,重点聚焦操作系统在 2021 年的重要进展、动态,希望能帮助你准确把握 2021 年操作系统的核心发展脉络,在行业内始终保持足够的技术敏锐度。
“InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一,将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域,后续将聚合延展成专题、迷你书、直播周、合集页面,在 InfoQ 媒体矩阵陆续放出,欢迎大家持续关注。
特此感谢刘寿永、刘成城、孟庆彬、王伶卓、杨勇、张继德(按姓名首字母排序)对本文的贡献,他们的真知灼见,是本文能与大家见面的关键。
从科技创新的视角来看,操作系统已经触到了创新的天花板,并且多年未发生本质上的变化。但与此同时,我们也看到了云计算、多端融合为操作系统带来的改变,甚至时下大火的元宇宙也会为操作系统带来新的冲击与机会。从这一视角来看,操作系统正站在巨变的前夜,甚至“很可能会出现一些颠覆性的变化”。
回顾操作系统的 2021,一定绕不开那些引领方向、强化信心的信创政策。
2021 年 3 月,国务院在《政府工作报告》中指出,坚持创新在我国现代化建设全局中的核心地位,把科技自立自强作为国家发展的战略支撑。制定实施基础研究十年行动方案,提升企业技术创新能力,激发人才创新活力,完善科技创新体制机制,全社会研发经费投入年均增长 7% 以上、力争投入强度高于“十三五”时期实际。
同样在 3 月,工信部直属事业单位“中国电子学会”联合 16 家企业和机构共同发布的《中国信创产业发展白皮书 (2021)》 指出,未来三年信创产业将开始在重点行业领域全面推广,产业迎来黄金发展期,至 2023 年我国信创市场容量将突破万亿元。
5 月,总书记在两院院士大会上强调,要加强原创性、引领性科技攻关,坚决打赢关键核心技术攻坚战。
此外,2021 年,操作系统领域还发生了哪些值得关注的大事件?
到今天,操作系统已然发展了近 70 个年头,不少受访专家对 InfoQ 表示,从科技创新的视角来看,操作系统已经触到了创新的天花板,并且多年未发生本质上的变化。“如果从 Gartner 技术成熟度曲线(Hype Cycle)上来看,操作系统必然处于成熟度最末端的平台期,从近年来 Linux、Windows 等操作系统核心技术领域发展情况来看,真正能够持续影响未来的技术创新越来越少了。”
更多的创新发生在 Linux 生态,而这些新兴的技术方向也都在新成立的几个 Linux 子基金会运作。例如,CNCF 推动云原生技术的发展,而 Hyperleger 则是推动区块链技术的发展。此外,由于一些高速存储、网络硬件的发展,逐渐出现了很多绕开内核瓶颈的系统软件项目。例如,Intel 主导的 DPDK、SPDK 项目,也进一步给 Linux 内核技术发展的未来蒙上了一层阴影。
这也似乎从一定程度上说明,传统形态的操作系统的发展,特别是内核领域,面临着创新发展的瓶颈。不过,随着近年来芯片生态发生变化,芯片领域的竞争升级,异构计算、xPU 等新方向的出现,Linux 内核研发出现了回暖的趋势。
从硬件生态角度看,ARM、RISCV 的芯片的发展,甚至是 x86 芯片,例如 Sapphire Rapids,也带来了不少内核新特性,为未来软硬结合的方向带来不少想象的空间。应对高速存储、网络新硬件,Linux 内核也引入了高性能异步 I/O 框架 io_uring,能显著加速 I/O 密集型应用的性能。网络栈还出现了针对 100G/400G 网络的更多优化。
从软件生态角度看,eBPF 技术的出现让 Linux 内核“可编程”,有效提高了内核开发人员的效率,近年来的应用领域也从最初的动态跟踪调试、网络领域的应用,延伸到了内核安全、调度器、存储领域的新尝试。Linux 内核也开始接受新的编程语言 Rust,让内核模块的研发语言有了更多的选择。
整体而言,操作系统近两年的迭代虽不如早期那样更让人激动,但也焕发了新的生命力。
2021 年 8 月 12 日,Linux 基金会旗下的非营利性组织 eBPF 基金会正式成立。该基金会致力于推动开源项目 eBPF 的发展,支持 Linux 和其他开源技术的商业增长。
12 月 22 日,开源操作系统社区 OpenCloudOS 正式宣布成立。腾讯及宝德、北京初心、北京红旗、飞腾、浪潮、龙芯中科、OPPO、先进开源、中电科申泰、中科方德、兆芯等 20 余家操作系统生态厂商及用户成为首批创始单位。
如果按照应用领域进行区分,服务器操作系统、桌面操作系统、移动操作系统还有这些值得关注的大事件。
CentOS 8 是 CentOS 项目发布的服务器操作系统,于 2019 年 9 月 24 日正式发布。原本 CentOS 项目母公司 Red Hat 承诺对 CentOS 8 的官方支持将长达十年,但在 2020 年 12 月 8 日,CentOS 项目突然宣布,CentOS 8 将于 2021 年底结束支持,而 CentOS 7 将在其生命周期结束后(2024 年 6 月 30 日)停止维护。接下来一年,会把重心放到 CentOS Stream 上。
CentOS 8 的停止维护迅速引发热议。近几年,CentOS 在市场上一直占据主导地位,在国内也是众多企业的“标配”。尽管这只是商业公司做出的一个商业决定,但其对行业带来的影响不言而喻。CentOS 8 的停止维护使得企业在未来不得不承担一定的安全风险,迁移或不迁移、迁移去哪里、如何迁移成了摆在很多企业面前的难题。
但与此同时,CentOS 8 停止维护也昭示着国内操作系统必然面临格局洗牌,对操作系统厂商和研发人员而言,机会与挑战并存。
全新开源操作系统“龙蜥”亮相阿里云云栖大会
2021 年 10 月,龙蜥社区在阿里云云栖大会上首次登台,全新龙蜥操作系统 Anolis OS 也重磅亮相,并宣布完全开源,以中立社区的方式运作。
龙蜥操作系统定位于服务器端,支持 x86、ARM 等多种芯片架构和计算场景,搭载 RHCK 和 ANCK 两种不同版本的内核,性能和稳定性经受住了历年双 11 的严苛考验,给云上典型用户场景带来 40% 的综合性能提升,故障率降低 50%,兼容 CentOS 生态,提供平滑迁移方案,并提供全栈国密能力。
龙蜥、欧拉相继捐赠给开放原子开源基金会
2021 年 11 月 4 日,龙蜥社区宣布,由阿里云、统信软件等 14 家单位联合开源的龙蜥操作系统将捐赠到开放原子开源基金会,当前已全票通过项目孵化评审中的技术达标评审,即将进行法务合规性审核。
11 月 9 日,华为在操作系统产业峰会 2021 上宣布,华为携手社区全体伙伴共同将 openEuler 操作系统正式捐赠给开放原子开源基金会。
腾讯云发布云原生操作系统遨驰 Orca
11 月 3 日,腾讯云发布云原生操作系统遨驰 Orca。据悉,腾讯云原生操作系统遨驰单集群支持 10 万级服务器、百万级容器规模,管理的 CPU 核数超过 1 亿,计算正式进入亿级时代。
Windows 10 多个版本相继退役,Windows 11 登场
在 2020 年 1 月 14 日正式停止 Windows7 操作系统的更新后,2021 年,Windows 10 多个版本也迎来了“退役潮”。
5 月 11 日,Windows 10 版本 1803(教育和企业版)、1809(教育和企业版)和 1909(家庭版和专业版)终止服务;12 月 14 日,Windows 10 版本 2004 (所有版本)终止服务。
6 月 24 日,微软正式发布 Windows 11 操作系统,10 月 5 日,Windows 11 全面上市。值得一提的是,Windows 11 带来了备受关注的 Android 子系统(Windows Subsystem for Android),可直接运行 Android 应用,进一步丰富应用生态。
华为正式发布鸿蒙手机操作系统,未来 OpenHarmony 将与 OpenEuler 生态互通
6 月 2 日,华为正式发布 HarmonyOS 2 系统,以及数款搭载 HarmonyOS 2 的智能手机新品。这意味着,华为手机将全面告别 Android 系统,HarmonyOS 也由此成为第一个搭载于智能手机的国产操作系统。除了手机,HarmonyOS 还可搭载在平板电脑、智能穿戴、智慧屏等多种终端设备。
9 月 25 日,华为宣布 OpenHarmony 将与 OpenEuler 能力共享、生态互通。目前两个操作系统的内核技术已经共享,未来还将在安全 OS、编程语言、设备驱动框架、分布式软总线方面能力共享。
比较网络带宽的增长趋势和通用 CPU 性能增长趋势,能发现一个有趣的现象:带宽性能增速比失调。尤其是在金融、云计算、数据中心等场景下,通用 CPU 性能增长越来越跟不上网络带宽的增长需求,因此必须要找到新的可以比通用处理器带来更快算力增长的计算芯片。DPU 应运而生。
2020 年 10 月,NVIDIA 公司在发布的 DPU 产品战略中将其定位为数据中心继 CPU 和 GPU 之后的“第三颗主力芯片”。同日,NVIDIA 发布新型处理器 BlueField DPU 系列,在支持网络处理、安全和存储功能的同时,实现网络虚拟化、硬件资源池化等基础设施层服务。
2021 年,DPU 在操作系统上有了更广泛的支持。“2021 年,最超乎预期的技术趋势就是以 DPU 为代表的异构计算的发展。”不少受访专家对 InfoQ 表示。
2021 年 4 月,NVIDIA 发布新一代数据处理器 NVIDIA BlueField-3 DPU,这是首款为 AI 和加速计算而设计的 DPU,针对多租户、云原生环境进行了优化,提供数据中心级的软件定义和硬件加速的网络、存储、安全和管理等服务。
6 月,Intel 发布 IPU 产品(可以被视为 Intel 版本的 DPU),将基础设施的功能全部卸载到智能网卡中,可以全面释放之前用于 Hypervisor 管理的 CPU 算力。
同月,Marvall 发布了 OCTEON 10 DPU 产品,不仅具备强大的转发能力,还具有突出的 AI 处理能力。
国内方面,7 月,工业和信息化部发布的《新型数据中心发展三年行动计划 (2021-2023 年)》中明确提出,要加快提升算力算效水平,“推动 CPU、GPU 等异构算力提升,逐步提高自主研发算力的部署比例”,“加强专用服务器等核心技术研发”,“树立基于 5G 和工业互联网等重点应用场景的边缘数据中心应用标杆”等等。
10 月,中科院计算所牵头发布了《专⽤数据处理器 (DPU) 白皮书》(简称“白皮书”)。白皮书表示,虽然国内厂商在芯片产品化的环节还相比国外一线厂商还有差距,但是在 DPU 架构的理解上还是有独到的见解的,而且我国目前在数据中心这个领域,无论是市场规模还是增速,特别是用户数量,相较于国外都有巨大的优势。国内厂商有望充分利用这一“应用势能”,加快发展步伐,在 DPU 这个赛道与国外厂商逐鹿中原。
国内方面,阿里应该是 DPU 赛道布局较早的互联网厂商。早在 2017 年,阿里云就在其神龙服务器核心组件 MOC 卡中应用了专用 X-Dragon 芯片,统一支持网络、I/O、存储和外设的虚拟化。2021 年 10 月 20 日,阿里云宣布推出第四代神龙架构,这也是飞天云操作系统新一代虚拟化技术,并首次搭载全球唯一的大规模弹性 RDMA 加速网络。
数据显示,2021 年,国内有包括中科驭数、星云智联、大禹智芯、芯启源等在内多家 DPU 创企宣布完成新融资,其中有多笔融资金额达数亿元人民币。另据白皮书预测,DPU 的潜在市场非常巨大,预测到 2025 年仅中国市场就能达到每年 40 亿美元的规模,估计全球将超过 120 亿美元。
DPU 的火热也印证了芯片已经走上定制化路线。“目前在业内,芯片厂商和操作系统厂商有的一个共识就是,今天的芯片已经走向了领域定制趋势。所谓领域定制,指的是芯片或系统,可以为一个场景去重新设计,以获得最佳用户体验。比如 DPU 是针对云计算、虚拟化的场景实现芯片创新,未来针对其他场景,可能也会出现越来越多的案例。”受访专家说道。
苹果的软硬协同也是以此实现 1+1>2 的效果。
2021 年 10 月,苹果发布 M1 Pro、M1 Max 两款自研处理器,与新芯片对应,macOS 也迎来更新。“苹果重新设计了 M1 芯片的一些功能,操作系统又支持这些功能,从而达到性能上的突破。一个公司通过紧密的软硬协同,来达到过去行业分工实现的效果,这也是目前业内的一个方向。”
可以预见的是,随着芯片走向领域定制,未来芯片必然会百花齐放,这也为操作系统带来了新的挑战:怎样才能支持好这么多芯片,把芯片的能力发挥出来?而对于国产操作系统而言,如何更好地支持国产硬件架构,也是操作系统厂商和研发人员接下来要解答的难题。
现有的指令集在 IOT 领域的局限性渐渐凸显,RISC-V 指令集应运而生。
RISC-V 是一个基于精简指令集(RISC)原则的开源指令集架构(ISA)。与大多数指令集相比,RISC-V 指令集可以自由地用于任何目的,允许任何人设计、制造和销售 RISC-V 芯片和软件。
2015 年,RISC-V 基金会成立;2018 年,中国 RISC-V 产业联盟在上海张江正式成立。到目前为止,RISC-V 已经构建了操作系统 - 编译器 - 指令集 - 处理器 -SoC 设计的整套生态系统。RISC-V 的阵营仍在迅速壮大中,并有星火燎原之势。同年,中国在乌镇互联网大会上宣布成立 RISC-V 中国联盟,由中国工程院院士倪光南担任联盟理事长。
此前,中国工程院院士倪光南曾指出,未来 RISC-V 很可能发展成为世界主流 CPU 之一,从而形成 CPU 领域 x86、Arm、RISC-V 三分天下的格局。
国内方面,有多家芯片厂商基于 RISC-V 架构开发产品,比如阿里旗下芯片公司平头哥就曾在 2019 年发布了 RISC-V 芯片玄铁 910。2021 年 5 月,华为海思推出了一款名为 Hi3861 开发板,有业内人士指出,这款开发板采用的正是华为首款基于 RISC-V 架构的芯片。
“RISC-V 的发展,让 DSA(Domain Specific Architecture)迎来春天,对操作系统的技术和架构提出了新的挑战,更对操作系统产业的升级带来的新的机会。”受访专家对 InfoQ 表示。
如前文所言,操作系统多年来并未发生本质的变化。元老 Linux 的发展已达巅峰,在服务器操作系统领域近乎举目无敌,新秀如 Fuchsia OS、HarmonyOS 等还在不断完善的路上。但可以看到的是,操作系统正站在巨变的前夜,甚至“很可能会出现一些颠覆性的变化”。
操作系统受计算形态的影响之大无需多言。随着 x86 服务器以及虚拟化技术的普及,世界进入“软件定义数据中心(SDDC)”时代。而在云计算的演进路线中,当前主要的计算资源仍是虚拟机形态,还没有达到云计算终极形态的要求——像水电一样提供计算能力。
“当前,新的计算形态还没有真正起来,无论是 Serverless 还是云原生,都在剧烈地演变中。”受访专家表示。
阿里内核团队创始人之一马涛曾在《什么是操作系统的云原生?》一文中提到,如果说在容器和 Kubernetes 时代操作系统是“因云而演进”,那么到了 Serverless 时代,我们则要彻底创造出一个全新的云原生操作系统。云原生的操作系统需要进行整体性的全栈优化和重塑,这样才能为 Serverless 提供更优的底层系统能力,基础运行环境、资源弹性、高效执行等能力也将因此得到极大的释放。
值得一提的是,Linux 基金会早在 2015 年就已成立云原生计算基金会(CNCF),进一步推动云原生计算的发展。
“我们在云原生时代与世界的距离是比较近的,包括产业规模、技术水平等,这是我们在新场景下赶超世界水平的机会。”受访专家对 InfoQ 表示,“下一步的演进趋势包括异构计算、无服务器化、隐私计算、轻量化、智能化等。”
2021 年 6 月,苹果公司在 macOS Monterey 和 iPadOS 15 中,加入了一个名为“Universal Control”的联动控制功能,用户可以在 Mac 和 iPad 中自由拖动鼠标,进行拖拽文件传输之类的操作。这种跨设备的设计,让 Mac 与 iPad 或 iPhone 之间的体验更加无缝和流畅。通过将移动和 PC 生态融合,带来奇妙的化学反应。
技术上,这种多端融合的方案需要解决迁移问题。“苹果从 Intel 的架构迁移到 ARM 架构,需要具备深厚的技术积累才能做到顺滑迁移,并且在产品上也能够做到这么流畅,这也是当前国内厂商需要继续学习的。”受访专家表示。生态上,多端融合也需要无缝迁移,而这也是多端融合最大的难点。
目前,除了苹果将 Mac 与 iPad 无缝融合,微软的 Windows 11 操作系统也带来了 Android 子系统,可直接运行 Android 应用。国内,麒麟操作系统已打通手机、平板电脑、PC 等,实现多端融合,OpenHarmony 也将与 OpenEuler 能力共享、生态互通。
2021 年,元宇宙概念大火。
研究称,元宇宙的理想形态是“一个拥有极致沉浸体验、丰富内容生态、超时空的社交体系、虚实交互的经济系统,和能映射现实人类社会文明的超大型数字社区”。有一种观点认为,只有操作系统级别的应用程序才有可能创造一个新的生态,也只有操作系统才具有成为元宇宙的潜力。
“元宇宙上的整个产业链必然要构建在云边端一体的生态上,从 VR/AR 端侧到传感设备,从物联网到边缘,元宇宙要想获得良好的体验,必须要解决延迟以及数据访问局部性问题,这也需要极强的算力。”受访专家对 InfoQ 表示。
未来,在这样一个云边端一体的基础设施中,哪种芯片、计算平台能够解决好这些问题还有待探索。这对于未来的操作系统来说,既是冲击,也是机会。
“百花齐放,励精图治。百花齐放是指未来主要是物联网 + 人工智能的时代,在相当一段时间内会有多种操作系统共存的局面;励精图治主要是指国产操作系统还在勤奋耕耘,稳步发展,担当国之重任,未来必定涅槃重生。”——刘寿永
“希望。2021 年是中国移动操作系统的元年,这里面充满了对于该产业的希望和憧憬。”——刘成城
“百花齐放,百家争鸣。涌现了很多国产操作系统,而且各有特色,展现了蓬勃的发展趋势。”——孟庆彬
“青春。从技术上来讲,国产操作系统在很多方面都比较成熟了。随着国内的信创大环境越来越好,操作系统这样一个重要的基础软件领域迎来了青春,有越来越多的国内外软硬件厂商都聚集在国内的操作系统社区。如果把国内的操作系统社区和行业比作一个人,那目前无疑是一个充满朝气的人。”——王伶卓
“混沌初开。从 CentOS 8 停止维护,到云边端的融合,未来充满不确定性,关于未来谁都没有正确答案,一切都是混沌初开的状态。这也是最幸福的一个状态。因为混沌初开意味着大家还有创新的机会,当一切都变得有秩序以后,留下的机会就不多了。”——杨勇
“异构。2021 年,操作系统领域很多事情都与异构相关,包括英伟达发布的 DPU、英特尔发布的 IPU、苹果发布的 M1 Pro、Windows 11 支持安卓的运行、UOS 支持跨处理器运行 Windows 软件等。”——张继德
采访嘉宾介绍(按姓名首字母排序):
刘寿永,中科创达首席架构师;
刘成城,鲸鲮科技创始人兼 CEO;
孟庆彬,麒麟软件桌面研发部资深研发工程师;
王伶卓,普华基础软件事业部技术负责人;
杨勇,阿里云操作系统技术总监、龙蜥社区技术委员会主席;
张继德,统信开源社区资深研发工程师。
1 月 4 日晚上 8 点,我们邀请了阿里云研究员、阿里巴巴集团内核团队创始人之一、阿里云基础软件部操作系统负责人马涛(伯瑜)做客 InfoQ 视频号,详细解读操作系统在 2022 年,有哪些值得关注的趋势。2021 InfoQ 年度技术展望直播周将持续输出精彩内容,关注 InfoQ 视频号,与行业技术大牛连麦~
如果你对操作系统的发展有其他观察和看法,欢迎在文末留言,或加入 InfoQ 写作平台话题讨论。后续,迷你书、专题将集合发布在 InfoQ 官网,登录、注册并将 InfoQ 添加进收藏夹,精彩不容错过。
参考链接:
http://www.yusur.tech/zkls/pdf/DPU-whitepaper-v1.0-final-21.pdf
https://mp.weixin.qq.com/s/QodX_7wzAB0yCoS7zXJDeg
今日好文推荐
首次揭秘,字节跳动数据平台为什么不选“纯中台制”
前滴滴技术总监受贿千万案宣判:获刑5年罚金50万;阿里计划出售微博全部股份;字节高级工程师薪资排世界第五 | Q资讯
解读大前端的 2021 :究竟“卷”出了什么名堂?
解读数据架构的2021:大数据1.0体系基本建成,但头上仍有几朵乌云
点个在看少个 bug 👇