Meta为XR设计芯片，为逼真“元宇宙”体验专门优化。
作者 | 姚勇喆
据外媒ROAD TOVR消息，Meta Reality Labs的研究人员已经制造了一款VR头戴设备原型机，该原型机可以支持Codec Avatars项目的渲染，并且搭载了专门用于AI处理的定制加速器芯片。
早在Facebook更名为Meta前，该公司就一直致力于Codec Avatars项目，该项目旨在使VR实现“如照片般逼真”的虚拟化身。这一系统结合AI处理和设备上的眼动追踪、嘴巴追踪等传感器，将使用者的脸以最接近真实的方式投射进虚拟世界。Codec Avatars研究的早期版本得到了NVIDIA Titan X GPU 强大算力的支持。但在Meta最新的Quest 2一体机等设备上，并不能完全发挥其功能。也正因此，Meta正在着手研究如何在低功率一体机上实现Codec Avatars项目的功能。上个月发表在IEEE CICC会议上的一篇论文中，Meta透露它正在设计一个采用7nm工艺的定制芯片用于作为Codec Avatars的加速器。实际上，Meta的造芯计划早在2018年就已经开始。2018年4月，Facebook将Shahriar Rabii招入麾下担任副总裁兼芯片负责人，Rabii此前任职于Google，并参与了Pixel手机Visual Core等芯片开发。研究人员称，该芯片从论文走向现实，还有相当长的一段路要走。在芯片设计过程中，设计人员考虑了生成Codec Avatars 模型所需要的数据。“测试芯片采用7nm制程，具有神经网络加速器，由1024乘法累加阵列、2MB片上SRAM和32位RISC-V CPU组成。”研究人员说。
另一方面，为了配合该芯片的特定架构，设计人员还重构了Codec Avatars AI 模型的一部分。“我们通过重新构建基于卷积神经网络的眼睛注视模型并针对硬件进行定制，使得模型更加适合芯片。这降低了片外内存访问的能耗和延迟。” Reality Labs研究人员写道。加速芯片通过加速Codec Avatars工作负载较重的部分，不仅加快了模型的运行速度，而且还降低了功率和发热。由于芯片的定制优势，在功率和体积控制上该定制芯片较通用CPU更有优势。据研究人员说，该芯片已经能够实现在每秒30帧的情况下运行Codec Avatars模型。并且同时做到功耗低和外形小巧。
得益于专用芯片的加速，Meta的Codec Avatars或许可以在一体机上运行。但目前我们不知道虚拟化身的视觉渲染效果如何。在非一体机上运行时，该模型将用户建模扫描的非常详细，这可能过于复杂，不能在Quest2等一体机上得到完整的呈现。目前还不知道Codec Avatars强大的“逼真”画面在这客观条件的限制下最终呈现的效果会如何。我们可以想象，一系列XR特定的功能都可以通过这种专门设计的加速芯片来实现。比如在XR世界中实现空间音频是XR玩家们愿意看到的，这可以增加沉浸感。但逼真的声音模拟在实际使用中不仅会增加成本，并且也会影响续航。另外，位置跟踪和手势跟踪也是XR体验的关键部分，在这些地方将硬件和算法结合起来进行设计可以使XR设备在速度和功率方面取得巨大的提升。