近日，在2023第七届人工智能大会上，爱芯元智AI推理引擎总监唐琦发表了主题演讲“Transformer视觉大模型在边缘侧的部署”，分享了基于爱芯通元混合精度NPU部署Transformer视觉模型的落地实践，并正式发布开发者套件——爱芯派Pro。
爱芯元智致力于打造世界领先的人工智能感知与边缘计算芯片，服务智慧城市、智能驾驶、机器人以及AR/VR等巨大的边缘和端侧设备市场。公司专注于高性能、低功耗的边缘侧、端侧人工智能芯片开发，自主研发面向推理加速的神经网络处理器IP和人工智能视觉处理IP（AI-ISP）。
集强大算力与超低功耗于一体，采用算法和芯片的协同设计理念，爱芯元智自研两大核心技术——爱芯智眸AI-ISP和爱芯通元混合精度NPU。其中，业内领先的AI-ISP自研IP（爱芯智眸AI-ISP），利用像素级的AI处理技术，在各种复杂应用场景中，全面提升成像效果，为后期智能处理提供高质量的图像、视频素材。爱芯通元混合精度NPU采用多线程异构多核设计，实现了算子、网络微结构、数据流和内存访问优化，高效支持混合精度算法设计，natively支持Transformer网络结构，为大模型在边缘侧、端侧的应用提供了良好的基础。
基于算法、芯片、产品的垂直整合，爱芯元智为合作伙伴提供全栈式解决方案，帮助客户实现最新技术的快速落地。与此同时，爱芯制定了完善的产品路线图，覆盖高中低端市场，以满足客户不同场景的产品需求。在过去几年时间里，爱芯元智已经完成了四代多颗芯片产品的研发和量产工作。未来，爱芯元智将致力于成为物理世界数字化、智能化的入口，使AI应用不再遥不可及，以普惠AI为大众提供便利，造就美好生活。
以下为演讲内容：
自2015年，AI模型的物体识别准确率在ImageNet的图像分类比赛中首次超过人类以来，人工智能行业便正式进入到新航海时代。而近年来，伴随着芯片行业制程的进步以及AI模型小型化、轻量化的趋势，AI模型在扫地机器人、家用摄像头、智能音箱等产品的本地化部署成为现实，端侧智能得到普及。到现在为止，基于传统CNN模型的云、边、端三角互补的算力主线已经完成，而在AI模型从云端往端侧迁移的过程中，Transformer网络结构也在不断进步，并随着ChatGPT的火爆备受关注。回顾Transformer视觉模型的发展历史，从基于Transformer网络结构的语义分割模型应用于自动驾驶场景，到分割万物的SAM和基座视觉大模型DINOv2，Transformer视觉模型的应用正走向新的高度。致力于打造世界领先的人工智能视觉芯片，爱芯元智专注于高性能、低功耗的边缘侧、端侧人工智能处理器芯片开发，布局智慧城市、智能驾驶和AIoT三大业务市场。基于智慧城市的升级改造，L2/L2+智能驾驶的应用大规模落地，以及终端设备智能化需求的扩大，爱芯元智将在边缘感知智能芯片上持续投入，持续打造感知和计算基础能力。从智慧城市到智能驾驶再到AIoT，爱芯元智之所以能做到三大应用场景全覆盖，依托于公司自研的爱芯智眸AI-ISP和爱芯通元混合精度NPU两大核心技术。爱芯智眸AI-ISP是将深度学习算法与传统的ISP处理单元相结合，作为万物智能的“眼睛”感知更多信息，特别是暗光全彩的刚需。其拥有六大技术亮点：AI星光全彩、AI HDR成像、AI多光谱融合、AI防抖、AI场景增强、AI多传感器融合，在暗黑道路、隧道出口、颠簸路段等多个行车场景下可全面提高画质，实现更优质的视觉效果。爱芯通元混合精度NPU作为爱芯元智另一大核心自研技术，支持INT4/INT8/INT16三种计算精度，具有高性能、低成本、易使用的突出优势。值得一提的是，在汲取前两代产品的市场反馈并结合行业前沿技术的发展趋势之下，第三代爱芯通元混合精度NPU进一步增强了算子支持种类和不同精度的混合计算，优化了内部内存调度机制，同时可高效率支持CNN网络和Transformer网络模型。而针对爱芯通元3.0 NPU研发的工具链——Pulsar2则进一步完善了工具链的功能和易用性，支持主流深度学习训练框架的模型部署，支持PTQ、QAT两种不同的量化操作，满足各种场景的量化调优功能。Transformer模型在爱芯元智NPU上部署非常简单高效，以SwinT模型为例：从PyTorch的官方ModelZoo上直接下载SwinT的ONNX模型，不需要做任何模型或算子修改，就可以实现SwinT的量化压缩和编译，达到199 FPS/W的高能效比。而会上获评“最具创新价值产品奖”的AX650N作为爱芯元智在今年推出的高性能芯片产品，基于第三代NPU，在边缘侧、端侧部署Transformer具有高性能、高精度、易部署、低功耗等特性，是业内首屈一指的Transformer落地平台。大会上，爱芯元智正式推出开发者套件——“爱芯派Pro”，这款联合硬件生态伙伴共同打造的开发者套件，便于社区开发者低成本地体验视觉大模型在边缘侧、端侧的便捷部署。
爱芯派Pro搭载AX650N，拥有高算力和超强编解码能力，可满足行业对高性能边缘智能计算的需求，实现视频结构化、行为分析、状态检测等应用，高效率支持CNN模型和Transformer视觉大模型。
在爱芯派Pro发售的同时，爱芯元智还将释放集成模型量化、模型编译、模型部署三合一功能的新一代AI工具链Pulsar2的社区版本以及丰富的开发文档，方便用户快速进行产品原型验证和二次开发，帮助用户在智慧城市、智慧交通、智慧教育、智能制造等领域发挥更大的价值。目前，爱芯元智已经量产了四代多颗应用于不同行业领域的视觉感知芯片，并坚持基于算法、芯片、产品的垂直整合，为合作伙伴提供全栈式解决方案，帮助客户实现最新技术的快速落地。面向人工智能产业的高速发展，爱芯元智也将通过持续的技术创新，提高芯片性能、降低成本，让边端智能更加普惠，最终实现“普惠AI 造就美好生活”的使命。