落地《星球：重启》，朝夕光年AIGC进展超出了我们的想象
随着GDC日程逐渐深入，那些潜水的游戏公司AIGC新进展逐渐浮出水面。
当地时间3月20日至24日，GDC 2023（Game Developers Conference 全球游戏开发者大会）于旧金山正式开办。作为全球最具影响力的游戏行业峰会，也是全球最大的游戏开发者聚集地。GDC为游戏开发人员提供一个交流、学习和展示游戏技术的场所。
与此同时，随着近期OpenAI ChatGPT、微软New Bing、百度文心一言以及谷歌Bard等产品推出，AIGC浪潮逐渐席卷游戏领域。从GDC 2023议程来看，本次大会除了交流美术、叙事、玩法、音频等游戏设计思路，以及游戏工业化、商业模式等外，AI在游戏中的应用成为行业关注重点。
聚焦登上GDC 2023舞台的国内厂商，腾讯、网易围绕机器学习、下一代移动游戏开发技术、引擎研发和创新工具等，将带来约26场游戏相关主题演讲。
值得提出的是，除了两大传统游戏巨头外，本次GDC上也出现了另外一位游戏“新星”的身影——字节跳动旗下游戏品牌朝夕光年。
美国旧金山时间3月21日9:30-10:30，在GDC 2023西厅2010室，朝夕光年旗下江南工作室AI技术负责人四道以《Machine Learning Summit: GPT-3 Powered Text to Lifelike Speech and Animation for NPCs》（机器学习峰会：基于GPT-3的拟真NPC语音和动画生成）为主题，结合公司自研游戏《星球：重启》，分享了AI技术在游戏场景中的落地应用。
将AI从虚拟偶像“搬入”游戏
四道的分享主要围绕七大模块展开：文本分析模块；情绪控制语音合成；深度神经网络；节奏分析模块；语义动作模板；运动匹配模块；运动节奏自适应模块。
基于这些模块，朝夕光年江南工作室打造了一个AI系统，可以构建一个逼真的实时交互数字人。
据了解，江南工作室打造这一AI模型已有两年多时间。最早是在A-SOUL这类虚拟偶像产品中进行尝试，后逐渐应用到数字人、游戏场景中。
例如在江南工作室自主研发的科幻生存游戏《星球：重启》内，智能NPC李星澜（22世纪记录世界信息和玩家数据的智能终端）的交互语音和动作，便是由这套AI训练模型驱动生成。
坦白说，智能NPC和数字人在娱乐行业和社交媒体平台不算新鲜事物。包括NExT Studios打造的数字航天员小诤、米哈游鹿鸣，以及人AI驱动的主持人、评论员、网红等，逐渐面向大众。
但不论在过去、现在，甚至是未来，行业内对虚拟人的关注点，不仅在于外形、动作、声音的拟真度，更在于“她”实时交互的语言、动作是由AI驱动还是存在“中之人”。
从内测1.0版本开始，《星球：重启》就已接入江南AI的文本生成模型。目前该作已经在港澳台开启公测，游戏智能NPC相关内容或许都是由AIGC生成。从游戏的开放大世界体验来看，在线智能NPC或许早已突破百位。
基于当前技术水平，《星球：重启》的智能NPC剧情资源或许并非实时生成而是离线模式。简单来说，游戏中的智能NPC暂不具备实时交互的能力。不过，在数字人Lydia身上，实时交互AI技术得到了更多应用。
此外从可控性的角度来看，在游戏这一复杂场景中，离线相比实时生成更好控制。这也能够避免智能NPC触及一些ooc敏感问题。
如何让智能NPC变得“合格”
随着AIGC持续发展，或从多角度重塑游戏行业。AI技术发展使得AIGC趋于成熟，也使得其部分落地成为可能。目前，包括AI绘画辅助设计、AI配音降低人工风险，以及AI文本可以生成剧情、对白等都有着不错的落地案例。
从阶段发展来看，这类技术的推进预计在中短期会降低游戏内容生产成本，中长期还将降低创作门槛，促进内容产业的供给繁荣。这或许也是朝夕光年江南工作室，进一步探索实时生成AI的重要原因。
从当前游戏公司探索AIGC在游戏中的应用来看，离线交互是现状。但大家都致力于实时交互方向，或许朝夕光年也是如此。
而针对智能NPC实时交互内容会触及ooc的问题。一位参与GDC 2023的游戏开发商表示，通过前置记忆单元+最新的语言大模型+检索优化模块，可以很好地控制智能NPC的语音、文本内容。
但也有AI服务商表示，将AI融入到实际游戏设计生产过程中，其实有很多不可控的地方。他举例道，日本的游戏研发注重游戏理念、场景设计。如何才能让AI生产契合这一理念和场景的内容？
对此有游戏公司AI负责人表示，团队做过很多类似的尝试。他们会选择在前置记忆单元中设计一个输入框架（包括游戏世界观，人物的角色观、世界观、性格特色等），策划通过这一定义好的框架资料体验。然后再放到前置记忆模块，加上ChatGPT进行测试。并且每一次对话的时候，都会把前置信息输入进去。
简单来说，智能NPC所进行的每一次交互都会受到约束，时刻告诉“她”自己到底是怎样一个人。据悉，目前团队对实际测试下来的效果还比较满意。
可另一个问题是，这类AI模型需要投入大量训练。从官方公布的资料来看，“李星澜”智能对话模块的训练语料（多语种）高达6TB；训练时间，16张V100 5天19个小时，250000steps。此外，江南工作室自建了一个面向游戏应用场景的高质量（姿势、表情、动作等）数据库。
如果在游戏中加入这样一个“懂自己”且能实时交互的智能NPC，是否会增加游戏成本？这还有待落地相关AI技术的产品，在商业化层面做出进一步探索。但至少在现阶段，我们还是先尝试让智能NPC变得“合格”。
从现阶段一些AI创业公司和游戏厂商的探索成果来看，实时交互智能NPC落地游戏场景，存在很大可行性。
在今年2月，网易《逆水寒》手游通过AI技术，让智能NPC可以做到“无设定自由交互”。NPC可与玩家自由对话，并基于对话内容自主给出有逻辑的行为反馈。
此外，超参数等AI创业公司，结合ChatGPT等AIGC技术，逐步探索新的bot场景。例如公司不久前发布了《活的长安城》项目demo。它是一个自由度非常高的场景，类似包括了互动、产生内容的《西部世界》NPC生态。据了解，其目前可支持同时在线的智能NPC量级在千人。
随着ChatGPT、AIGC走上风口，很多游戏企业都在探索智能NPC对话、交互、自由生成剧情内容，以及将新的技术与bot进行融合等。从理论上这是可行的，逻辑也讲得通。但真正要落地到实际游戏场景中，这并非一个团队一朝一夕的事。
聚焦字节跳动，近期公司在AIGC领域的动作逐渐频繁。就在今日（3月22日），有消息称阿里M6大模型原带头人杨红霞已加入字节跳动AI Lab（人工智能实验室），参与语言生成大模型的研发。
据了解，M6是一项通用性AI大模型，拥有多模态、多任务能力，尤其擅长设计、写作、问答，在电商、制造业、文学艺术、科学研究等领域都具有广泛应用前景。
此外，从字节跳动官方招聘信息来看，公司在北京、上海、杭州等地都有在招AI相关人才。其岗位涉及：AIGC技术专家、AI-Lab NLP自然语言处理算法工程师、AI-Lab语音合成研究科学家等。
或许待到《星球：重启》登陆国服时，玩家就能在游戏中与李星澜进行实时互动，开启不一样的2112生存之旅。
TEXT TO GAME
2023竞核AIGC·闭门会
会议议程
▼
--------Embrace X--------