AI、机器人与“阿凡达”——创建元宇宙的平台型工具来了
来源 | fxguide
翻译｜胡瑞滢
订阅 | 010-86092062
11月9日，英伟达CEO黄仁勋在公司的虚拟GTC大会上做了主题演讲，介绍了NVIDIA Omniverse Avatar和NVIDIA Omniverse Replicator以及一系列公告、演示和新举措。
黄仁勋展示了NVIDIA 用于3D工作流程的Omniverse虚拟仿真和协作平台如何将数字人和虚拟形象领域的各种关键技术结合在一起。黄仁勋分享了Omniverse Avatar的各种例子：用于客户支持的Tokkio项目、用于始终在线的车辆智能服务的NVIDIA DRIVE Concierge以及用于视频会议的Maxine项目。
Omniverse Avatar连接了该公司在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟技术方面的技术。在该平台中创建的化身是具有光线跟踪3D图形的交互式角色，可以观察、说话、在各种主题上交谈，并合理理解自然说话表达的意图。
Tokkio项目
在Tokkio项目的第一次演示中，黄仁勋向同事们展示了与一个虚拟人的实时对话，虚拟化身是他自己的玩具复制品，对话的主题包括生物学和气候科学。
Omniverse Avatar关键要素
Omniverse Avatar使用语音AI、计算机视觉、自然语言理解、推荐引擎、面部动画和通过以下技术提供的图形元素：
·语音识别基于NVIDIA Riva，该软件开发工具包可识别多种语言的语音。Riva还用于使用文本到语音功能生成类似人类的语音响应。
·自然语言理解基于Megatron 530B大型语言模型，能够识别、理解和生成人类语言。Megatron 530B是一款经过预培训的模型，它可以在很少或不经过培训的情况下完成句子，回答大量主题的问题，总结冗长复杂的故事，翻译成其他语言，并处理许多未经专门培训的领域。
·推荐引擎由NVIDIA Merlin提供，该框架允许企业构建能够处理大量数据以提出智能建议的深度学习推荐系统。
·感知功能由NVIDIA Metropolis实现，NVIDIA Metropolis是一个用于视频分析的计算机视觉框架。
·虚拟人动画由NVIDIA Video2Face和Audio2Face、2D和3D AI驱动的面部动画和渲染技术提供支持。
“智能虚拟助理的曙光已经到来，”他补充道。“Omniverse Avatar将NVIDIA的基础图形、模拟和人工智能技术结合在一起，开发出一些有史以来最复杂的实时应用程序。协作机器人和虚拟助手的使用案例令人难以置信，影响深远。”用户将能够很快下载一个参考演示版本，并为自己测试NVIDIA化身。配套一个新的“展示室”将是Omniverse项目新的培训和演示空间。
在第二个Tokkio演示项目中，他在一个餐厅亭中突出显示了一个客户服务化身，能够看到两位顾客点蔬菜汉堡、薯条和饮料时，与他们交谈并理解他们。演示由NVIDIA AI软件和Megatron 530B提供支持，Megatron 530B是目前世界上最大的可定制语言模型。
用于视频会议的Maxine项目
Maxine项目能够将最先进的视频和音频功能添加到虚拟协作和内容创建应用程序中。演示显示，一名女子在嘈杂的咖啡馆通过视频通话说英语，但她的声音最终可以在没有背景噪音的情况下清晰地听到。当她说话时，她的话被实时转录并翻译成法语、德语和西班牙语。通过Omniverse，演示显示了化身能够用她相同的声音和语调进行对话。
黄仁勋还介绍了Nemo Megatron来训练大型语言模型。他说，这样的大型语言模型“将是有史以来最大的主流HPC应用程序”。为了帮助开发人员创建训练AI所需的大量数据，NVIDIA公布了Omniverse Replicator，一种用于训练深度神经网络的合成数据生成工具。
有了Omniverse，“我们现在有了创建新的3D世界或模拟我们的物理世界的技术，”黄仁勋说。“你将看到一个永恒的主题是Omniverse如何被用来模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车，甚至是化身的数字孪生兄弟，”他评论道。
NVIDIA DRIVE Concierge自动驾驶汽车
NVIDIA大胆预测，在未来所有移动的设备都将能够实现完全自主或部分自主。黄仁勋解释说，他认为“到2024年，绝大多数新电动汽车将具备强大的AV功能。”在DRIVE Concierge AI平台的演示中，中央仪表盘屏幕上的数字助理可帮助驾驶员选择最佳驾驶模式以准时到达目的地，然后在车辆行驶里程降至100英里以下时按照其要求设置提醒。
黄仁勋详细介绍了Hyperion内置的几项新技术，包括Omniverse Replicator for DRIVE Sim，一种基于Omniverse的自动驾驶车辆合成数据生成器。NVIDIA目前正在运行Hyperion 8传感器、4D感知、基于深度学习的多传感器融合、特征跟踪和新的规划引擎。NVIDIA DRIVE是NVIDIA面向自动驾驶汽车的开放平台，Hyperion 8是NVIDIA最新的完整硬件和软件架构。汽车内部也将被人工智能彻底改变。NVIDIA Maxine的技术预计将部署在汽车中。“有了Maxine，你的车将具备礼宾服务。”黄仁勋说。
机器人技术
黄仁勋宣布NVIDIA Isaac机器人平台现在可以很容易地集成到机器人操作系统（ROS）中，这是一种广泛使用的软件库和机器人应用工具。黄仁勋解释说，建立在Omniverse基础上的Isaac Sim是迄今为止创建的最逼真的机器人模拟器。“目标是让机器人不知道它是在模拟世界还是真实世界中，”黄仁勋说。为了帮助这一过程，Isaac Sim Replicator可以生成合成数据来训练机器人。“Replicator模拟传感器，生成自动标记的数据，并使用领域随机化引擎，创建丰富多样的训练数据集。”黄仁勋解释道。
NVIDIA将建造一个数字孪生卫星来模拟和预测气候变化，即E-2或地球二号。这是一个地球数字孪生模型，目的是模拟和预测长期的气候变化。
END
【推荐阅读】
| 科幻电影也能“类实拍”？LED屏前虚拟拍摄技术带来全新创作思维与制作模式 | |
| 一文读懂《伟大征程》中全球首创的“即时拍摄”技术 | |
| 一听画外音就出戏？莱卡工作室教你用旁白提升叙事能力 | |
| 真？假？原来电影里的这些场景都是微缩模型 | |
| 《沙丘》导演丹尼斯·维伦纽夫揭秘电影特效制作 |
我知道你在看哟