倚天的性能在一年来，也实现了再次进化，比去年云栖大会时期，性能提升 20%，落地上千家企业客户。以上是针对去年的提升。相对主流 x86 性能收益也非常明显。大数据（+30%），视频转码（+40%），HPC（+30%），Java App（+20%），数据库（+20%）。龙蜥社区 Java 语言和虚拟机 SIG 成员、阿里云智能程序语言与编译器技术总监李三红为大家分享了 《龙蜥解锁倚天底层算力，加速企业智能化创新》。
（图/平头哥数据中心解决方案负责人陈继承）高性能芯片不能必然带来应用高性能。在充分释放、发掘倚天算力潜力的过程中我们遇到了三个方面的挑战，首先是生态迁移，需要让客户在少投入甚至不投入的情况更顺滑的将长在 x86上生态迁移到 Arm 并保障其性能；其次，X86 和 Arm 在内存模型也就是访存序存在差异，一个是强一致性序，一个是弱一致性序，需要提供自动化序检查能力让客户应用正确、高效的迁移到倚天上；最后，倚天芯片在 Arm 架构兼容的基础上考虑到功耗、频率以及内存子系统、缓存一致性、IO 子系统等各种约束，在具体实现上做了很多的折中，需要我们把这些定制化底层软硬件能力以加速库、算子库、应用解决方案等形式更好的透出，能够让应用更方便、高效的调用。因此，平头哥的工作聚焦在让倚天底层软硬件能力充分透出的核心加速引擎层以及与芯片行为相关的生态迁移工具上，和阿里云弹性计算、基础软件、基础设施、业务应用等团队一起从基础设施层面、操作系统与编译层面、PaaS 应用层面共同构建软硬协同、全栈优化、业务融合的倚天应用生态及其竞争力，并实现由内而外赋能。同时，倚天生态也是开放型的，依托 Arm 开源社区建设倚天生态，积极发展倚天社区，为外部客户和开发者提供全面支持。比如对于应用生态迁移，Java 和 Python 等解释型语言在互联网业务应用中广泛使用，由于解释型语言运行时加载的特性，需要提前检查相关应用依赖（例如依赖库、三方包等），因此设计了能够满足 Java/Python 应用跨架构平滑、高效迁移的 YODA 倚天迁移工具。YODA 倚天迁移工具实现了包括源码、依赖包、二进制、依赖文件等的准确扫描，提供依赖检查、非依赖包自动过滤、版本检查等功能；可以对扫描结果进行分类，包括兼容、不兼容、版本升级、编译升级、待验证 5 大场景，并且提供覆盖应用全场景的 SOP 兼容升级方法和建议；对于不兼容文件的兼容性改造，工具提供了兼容版本推荐功能，目前该功能已覆盖 20+ 主流开源仓，能够实现超过 30K 兼容版本的推荐，能够有效满足大数据等主流场景的兼容性要求。目前，YODA 倚天迁移工具已帮助内外部客户超 10+ 应用完成迁移适配。同时工具已集成到阿里云 EasyYitian 工具平台，助力更多外部客户应用迁移上倚天。对于倚天应用解决方案，大数据场景技术栈复杂，涉及业务软件、JDK、OS 等较多领域，基于经验调优和人力调优耗时耗力，并且调出的性能也是基于经验获得，不一定最优。针对 x86 迁移到 Arm 平台，为减轻开发者的工作量，开发了倚天大数据自动化调优工具，可以基于AI算法，在众多的参数多维空间中寻找最优参数，提高调优效率并给出最优性能。目前已经支持了Spark、Hive, 未来会持续支持更多场景。同时，对于大数据业务，算力已逐渐成为显著的瓶颈，需要通过 Spark 关键算子native 化提高 Spark 执行效率，通过集成我们基于倚天优化的 x-simd、 ptg-optimize、zstd 等加速库，显著提升了 E2E 性能，E2E 相比原生 Spark 提升 1 倍以上。倚天在 AI 场景也发挥重要作用，通过创新的量化裁剪算法、ARM SVE int8 技术以及微架构与算法深度结合的优化方法。倚天在语音推理、大语言模型推理、视觉、机器翻译等方面获得了较好的性价比和落地。比如对于大语言模型推理，在首包 prefill 阶段，算力是瓶颈，在后续的单包阶段，带宽是瓶颈，通过 int8 量化技术以及微架构与算法深度结合的优化方法，在首包阶段实现了 8 倍算力提升，在单包阶段实现了 4 倍带宽优化。倚天灵活的算力/带宽配比方式大幅提升了倚天的能力上限。倚天芯片的 SPEC INT 性能强劲，其物理核，不降频、独享的更大的 L1/L2 cache 及更大的 LLC、高效的图像信号处理拓展指令集，与视频应用视频像素 INT8/INT16 格式、计算密集型依赖平稳算力、分块处理需要大缓存以及向量化模块占比高等特征完全契合，因此带来了极高的视频编解码性能和性价比。倚天视频编解码应用也已成为倚天实例的一个重要优势场景。倚天视频解决方案提供了 x264/x265 优化解决方案、4K 高清加 10bit/12bit 色深算子加速方案以及用于 360 全景视频和苹果 HEIF Grid 图片格式的 x265 tile 解决方案等，用户可在阿里云 ECS Booster 中勾选获得。倚天的成功自然也离不开 Arm 强大的软件生态， 来自安谋科技高级软件经理别再平带来议题《 Arm Ecosystem, Performance, Optimization》，为大家详解 Arm 生态、性能和优化的诸多细节，让听众不仅领略了当下 Arm 生态的勃勃生机，同时也展望了未来发展的无限可能。
（图/安谋科技高级软件经理别再平）
Neoverse 是 Arm 在 2018 年发布的平台，包含三大系列产品，专门针对基础设施领域设计 CPU 核心和互联总线， 聚焦基础设施市场。主要有三大系列 CPU 核心：在半导体领域，PPA（Performance, Power, and Area）是一种综合考虑性能、功耗和面积的概念，它是衡量半导体芯片设计质量的重要指标。具体到 Neoverse 核心中，V 系列 CPU 核心追求极致的性能，性能是第一位，但功耗更高，核心面积更大，应用于 HPC，数据中心云计算和人工智能领域。N 系列 CPU 核心追求的非常高的扩展性，性能，功耗和面积三个指标平衡，应用于数据中心云计算到边缘计算以及 5G 无线接入领域。E 系列 CPU 核心追求极致的能效，功耗、面积要优先于性能，应用于网络和边缘计算领域。最近两年 Arm 在基础设施市场取得了非常好的进展。可以从这几个方面看一下: 1、服务器方面：因为 Neoverse 系列 CPU 核心高性能低功耗的特点，Arm 架构的服务器芯片已经大批量部署于全球数据中心云计算。2、智能网卡方面：AWS、Intel、Marvell、NVIDIA 等主要的 DPU 供应商都选择了 Arm CPU 来构建 DPU SoC。3、芯片厂商方面： 已经有超过 50 家的芯片合作伙伴使用arm来构建数据中心芯片。4、OEM、ODM： 主流的 OEM，浪潮、惠普、超微等发布了 Arm 架构服务器整机。 5、Arm SystemReady 方面： 有 100 多个系统通过了认证，意味着这些系统不需要任何补丁，就可以运行主流的操作系统， 达到开箱即用的体验。接下来看一下 Arm 在软件生态方面的投入策略：如左侧所示， 主要是首日支持、开发者工具和开源软件投入三方面。1、首先是 Day one bringup，Arm 确保在 silicon 硬件系统面世之前，相应的架构特性和微架构特性就在软件中都已经就绪。同时Arm还会针对自己的 CPU、总线等 IP，研发相应的 fast model 和 FVP 系统，以及对应的参考设计，芯片伙伴可以在这个基础上进行硅前的软件开发。2、其次是开发者工具，Arm 为开发者提供一系列完善的开发工具，主要是包括编译器工具链和性能分析工具。编译器 GCC LLVM，随着编译器版本的更新，新的架构特性，例如对原子操作 向量化元算 SVE 的支持被加进来，保证编译器能够生成最优化的目标代码。而且，更新的编译器版本，会带来更新的 CPU 微架构原生支持，这样开发者使用编译器在当前系统构建代码的时候，就可以用比较简单的编译选项，获得最优化的结果输出。性能分析工具方面，Arm 对 Linux perf、telemetry solution 等进行开发， 支持 top down 等方法论。3、最后是开源软件的投入，Arm 投入了大量的研发资源来支持开源社区，从整个软件栈来看，从 Java Rust Golang Python PHP 主流的程序语言，到各种常见的计算加速库，例如压缩、加解密、视频编解码等，以及最上层的各种工作负载，例如数据库 MySQL Redis、网页服务器 Nginx、大数据 Spark Flink、存储 Ceph，Arm 都有持续的投入和支持。使用 N2 的倚天云实例， 相对于 x86 Icelake 的云实例， 在多个上层应用负载中，都有着显著的性能优势。这一页是我们在基于 Neoverse N2 的倚天实 g8y 实例和同等规格 x86 实例的性能对比测试，我们可以看到，不管是流行的缓存数据库 Redis、memcached，大数据 Spark 应用、以及网页服务器 Nginx Apache Httpd 等， 倚天云实例都有至少 20% 的性能优势。尤其是值得指出在机器学习推理方面， 使用 MLPerf 测试，倚天的性能是 x86 的两倍。同时值得指出的是，阿里云上的倚天云实例售价相当于 x86 架构，具有至少 20% 的价格优势。再加上刚才提到的相应的性能优势，这将为最终用户在云上部署中带来极高的 TCO 优势。在编译器参数选择上，Arm 架构和 x86 稍有不同，为了获得最好的性能， 我们有这些建议：在可能的情况下，使用最新版的编译器， 正如我前面说过的，在编译器这块，Arm 会不断的开发和适配更新的特性，包括性能优化，所以建议升级编译器。例如 GCC11 和 LLVM11 版本中加入了对 N2 核的原生支持。然后如果是在Arm系统上进行原生编译的时候，建议总是使用 mcpu=native 选项，这样配合较新的编译器，可以自动识别到当前硬件的型号，针对性的生成优化的机器代码。其次如果不是原生编译，不能使用 mcpu=native 的情况下， 建议指定具体的 mcpu 参数，例如 mcpu=Neoverse-n2 来指定要目标代码的cpu 核心。再其次，如果是用的编译器还不支持使用 mcpu 传入目标系统的 cpu 核心，可以使用 march 指定需要的架构特性，例如 armv8.5+sve 的形式。最后要说明的，在 Arm 架构上要彻底避免使用 mtune 参数，这是从 x86 到 Arm 迁移中要注意的一个点，当我们迁移的时候，建议删除 mtune，使用 mcpu 参数来替换 march 参数。在 arm community blog 上有一篇文章， 详细介绍了 march mtune mcpu 等不同的编译选项在不同架构下的区别以及相应的影响。More Arm Developer Resources
https://aijishu.com/blog/armsoft最后，别再平给大家介绍了 5 个 Arm 开发相关的资源：1、 首先是 learning path 项目。该项目旨在设计一系列课程，帮助开发者快速熟悉在 Arm 系统上的软件应用、安装部署和性能优化工作。这个项目是开源的，任何使用者都可以为其做出贡献，分享自己的实践经验。 2、 Arm 开发者社区，可以获取到 Arm 各种 CPU 核心、总线的技术文档和架构规范。3、 Arm community blog，汇集了很多 Arm 软件生态和性能优化的文章。4、 Worksonarm 计划，Arm 通过 Works on Arm 计划，为开发者提供免费的 Arm 架构开发平台，赋能开发者创新。感兴趣的开发者可以通过 workonarm 计划，提交申请来免费构建自己基于 Arm 架构的系统。5、 最后是极术社区 Arm 服务器专栏， 我们会不定期的在上面分享一些我们的经验总结， 欢迎大家订阅交流。
龙蜥社区是立足云计算打造面向国际的 Linux 服务器操作系统开源根社区及创新平台。龙蜥操作系统（Anolis OS）是龙蜥社区推出的 Linux 发行版，拥有三大核心能力：提效降本、更加稳定、更加安全。目前，Anolis OS 23 已发布，全面支持智能计算，兼容主流 AI 框架，支持一键安装 nvidia GPU 驱动、CUDA 库等，完善适配 Intel、兆芯、鲲鹏、龙芯等芯片，并提供全栈国密支持。