游戏引擎引入生成式AI技术：提供更大工具价值，参与变革游戏开发与设计 | 东西「AIGC系列」

东西「AIGC」系列

上期“者识科技：AIGC颗粒化体育场景”文末

关注AIGC在文娱场景的应用与商业化

欢迎投稿与交流，联系请见文末

以ChatGPT为代表的生成式AI全球爆火，引发了科技生产力上的巨大冲击。现阶段生成式AI技术的发展，对创作领域的影响逐渐提升。

无论现阶段是否采用、多大程度采用生成式AI技术，游戏开发者、游戏厂商已难以回避生成式AI是否、以及多久可能从根本上游戏开发的问题。

这不会一夜之间发生，但已经促使很多人思考结合AI后的游戏开发与游戏设计。

作为具有较强创作工具属性的游戏引擎，背后的技术人员与相关公司，已开始探索通过结合AI，提升工具易用性、简化创作过程。

在现阶段，较为务实的落地方向包括帮助开发者优化创作流程，批量生产、处理、放置资产；同时也能降低开发门槛，使开发者更专注于创意本身。一些游戏公司也开始储备相关人才，寻求有丰富AI经验的人才，调整、优化自身引擎和系统，顺应了新一轮AI能力引入游戏引擎的趋势。

与生成式AI技术结合，强化游戏引擎创作工具能力

日前GDC 2023上，Unity就专门推出生成式AI工具，进一步拥抱AIGC。Unity发布“Unity AI”视频，暗示将在Unity引擎中推出生成式AI工具，帮助开发者更快更好地制作游戏。CEO John Riccitiello表示，Unity将在未来开放一片AIGC专用的市场，供开发者交易AIGC的相关工具。他还提到，生成型AI将会是Unity近期发展的重点。

育碧发布Ghostwriter这一AI游戏写手工具后，也进一步将其融合进“Omen”叙事引擎。它可以与游戏叙事文案配合，帮文案把工作中最繁重的任务简单化，同样可以让游戏世界里的人物对话更丰富。育碧还在为即将推出的《XDefiant》游戏招募AI工程师，这一职位将“根据XDefiant特定的改进和系统拓展Snowdrop引擎的功能”。

随着AI对引擎工具能力的提升，不仅加强AIGC，也有望成为UGC的更强助力。Roblox近日就表示将抓住生成式AI的机遇，将AI工具与平台创作整合，并宣布推出第一批AI工具Code Assist（代码辅助）和Material Generator（材质生成器），朝着让“Roblox的每个用户都成为创造者”的目标迈出了一大步。

为此，Roblox也在招聘高级导航软件工程师，要求应聘者精通游戏引擎并拥有5年以上的AI经验。这一职位将“开发必须在所有平台上运行并将覆盖数百万玩家的游戏 AI 系统”，职位描述中还提到“您将成为我们团队的早期成员，参与我们为元宇宙带来生机的使命。”

此外，游戏引擎与AI结合，也能与其他受AI影响的游戏工业化流程更好匹配。如虚幻引擎目前更多在整个游戏制作的工业化管线中渗透AI能力。此前UE4就开发了专门的AI系统，以便在项目中创建高可信度的 AI 实体。Epic Games近期又发布了MetaHuman Animator，用来简化同一组语音线和面部动画应用到不同角色模型的工作量。

除了引擎官方推出AI工具，第三方开发者为引擎开发插件也是集成AI能力的一种方式。近期随着各类AI模型、工具的推出和迭代，游戏引擎的AI插件开发生态也更加繁荣，在创建虚拟角色和3D资产方向上出现较多参与者。

例如有波兰团队为虚幻引擎5开发了PERSONA 3.0插件，用于创建超写实风格的虚拟角色。通过机器学习算法和摄影测量法，可以把从概念草图到角色模型的创建流程缩短至几分钟。

近日，Luma AI也发布了为虚幻引擎提供的插件，将实时NeRF（神经辐射场）技术引入虚幻引擎。通过Luma Unreal Engine alpha插件，开发者可以更便捷地创建真实对象的数字孪生，用于游戏和虚拟生产。

游戏引擎结合AI，已渗透游戏制作的多个环节

1.美术、3D资产及场景生成

现阶段AI生成2D图像的技术已经较为成熟，主流产品如Stable Diffusion、DALLE-2等多以扩散模型（Diffusion Model）为技术路线。游戏引擎也有推出相关功能，如Unity的Unity ArtEngine，也可以通过API方式链接到外部的AI图片生成工具，在游戏制作中的角色立绘制作、材质和贴图生成等环节发挥作用。

3D资产生成则是近来生成式AI的热门方向，许多技术大厂和创业公司都在积极投入这一方向的技术研发，已有一些产品面世。

如英伟达推出的Magic3D，采用文本到图像扩散技术，分为两个阶段，由粗到细地渲染生成3D模型；OpenAI的3D生成算法Point E包含两个扩散模型，分别是文生图和图像到3D的扩散模型，能实现文本到3D点云的快速生成，只需单个GPU用1~2分钟即可完成。

3D资产生成这一方向仍处在探索阶段，各方的技术路线不尽相同，既有采用扩散模型、神经辐射场（NERF）技术的，也有不少基于生成对抗网络的研究出现。

游戏中一大重要的视觉要素就是3D场景。如近年来开放世界成为开发商竞关注的品类，这类游戏对场景资源的需求量极大，无法单纯依靠人工进行地编。游戏引擎也引入了AI驱动的场景生成技术，例如Unity的Unity World Generation，通过机器学习技术帮助开发者根据场景的地形、地貌特征，自动生成并放置植被等资产。

2.动画

游戏中的角色动画制作流程通常先在Maya等建模软件中制作模型、绑定骨骼，然后将模型导入游戏引擎中制作动画。游戏引擎正在引入AI能力，用以优化绑定、动作制作等流程。

例如Unity的Deep Pose功能可以通过控制某个关节，自动模拟出在该动作下其他关节的正确反应；Kinematica让开发者无需通过Blend Tree或状态机来安排角色在两个动作之间的切换，只需要给定一个骨骼姿势及所需的轨迹运动，就能自动生成相应动作。

虚幻引擎5也推出了机器学习变形器（ML Deformer）功能，基于Epic Games开发团队构建的框架，可以呈现出比传统线性蒙皮方法更好的角色变形效果，为复杂的绑定创建高保真模型，同时显著减少GPU的内存占用。

3.对话、语音

游戏引擎在AI生成对话方面的进展也得益于预训练大语言模型的技术迭代。

育碧近期公布的AI写作工具Ghostwriter，用于生成与主线关联不大的NPC台词。Ghostwriter被融合进育碧的“Omen”叙事引擎中，开发者输入NPC的一段基础台词或发言动机，就可以自动生成若干个版本的可用台词。育碧在技术博客中提到，Ghostwriter加入了带有人类反馈的强化学习技术，在人类做出数千次对合适台词的选择行为后，它将变得越来越有效和准确。

国内市场，Cocos则通过与百度文心一言合作，全面体验并接入文心一言相关能力，把百度的智能对话技术成果应用在3D实时创作领域。

游戏角色的台词除了文字以外，还常常配有语音。除了采用人工配音的方案，近年来AI语音生成技术逐渐成熟。AI语音领域涉及语音识别（ASR）、自然语言处理（NLP）、语言生成（NLG）和语音合成（TTS）等多项技术。越来越多技术公司和个人开发者，正在为游戏引擎开放SDK和插件，例如百度的语音识别SDK、IBM的IBM Watson Unity SDK等等。

近期的一个热门技术方向是语音驱动嘴型与面部动画生成，在此方向上布局的包括英伟达、网易、声网等多家公司，并涉及神经辐射场、生成对抗网络、扩散模型等多个技术路线。

4.AI NPC

NPC是大部分游戏都不可缺少的要素，创建AI驱动的NPC也是游戏引擎普遍较早引入的功能。在游戏中创建一个高可信度的AI NPC，涉及到AI行为树、环境查询、AI感知等多个环节。

如在虚幻引擎4中，对AI NPC的控制是通过行为树（UBehaviorTree）实现的，行为树中的各节点不断做出检测、判断，从而驱动AI NPC做出各种设定好的行为。场景查询系统（EQS）让AI能够从周围环境中收集数据，并用到行为树的操作决策中，例如寻找附近的弹药等。此外，虚幻引擎4的AI架构中还包括AI感知系统（AI Perception System），通过AI感知组件来获取环境中的刺激源，如噪音、AI受到伤害或AI看到了什么。

游戏引擎+ChatGPT，探索游戏制作方式的变革

在AI领域，现阶段最受关注的无疑是ChatGPT。尽管爆发时间点距今不久，各大游戏公司以及一些独立开发者已尝试将其与游戏引擎结合。作为一种底层工具的游戏引擎在引入ChatGPT相关能力后，正在探索变革内容创作的形态、方式，这也有望为玩家带来不同以往的游戏体验。

今年年初，Unity工程师Keijiro Takahashi分享了他的ChatGPT插件的视频。用户可以在引擎的编辑器中键入自然语言提示，以生成对象、移动对象、创建点光源、增加其范围或强度，并运行生成的场景。

不过，目前它还不能被认为是一个100%实用的解决方案，Keijiro Takahashi也承认还有许多指令不能被这个AI插件正确理解并执行，所以游戏开发者和设计师目前还无法期望它完成所有的工作或一些复杂的任务。

AI技术开发公司TREE Industries也发布了一款一体化编辑器实用程序UnrealGPT，将GPT-4的功能引入虚幻引擎5，用于控制灯光布局。根据演示视频，AI扮演了NLP、意图解析器、数据生成器和实体提取器的角色，可以实现生成和放置光源、移动光源、改变光源颜色等任务。

AI能力的引入为游戏制作的方式带来了新的可能，在此基础上也有望为玩家带来不同的游戏体验。

近期个人开发者Hackmans正在开发中的Tales of Syn受到广泛关注，这是一款《辐射》风格的AI RPG，开发者使用了Stable Diffusion、ChatGPT、Dreambooth等AI工具，并结合Zbrush、Unity等常规游戏开发工具，用AI创建了地图、角色形象、建模、对话和语音。

Hackmans还使用ChatGPT编写Unity脚本，用于角色导航。在演示视频中，AI NPC“商店老板”能根据玩家在对话窗口中输入的问题，做出相应回复，比如“我不做炸弹，那太危险了，我不想让任何人置身危险之中”。

东西「AIGC」系列

Hello!

我们在为更加闭环、更加高效的服务模式做准备

欢迎加入限定白名单

与我们一起探索