揭秘网易伏羲AIGC：内测绘画工具，落地多款产品推了好些新玩法
逆水寒手游内置的绘图AI玩法生成作品 from 网易伏羲图文生成工具“丹青约”
“在AIGC领域，网易伏羲确实很多都走在前列，比如捏脸、文本生成等。”
这是上周四（3月30日）网易伏羲AI研究&技术落地负责人睿风分享后，与会者普遍的观感。确实，网易伏羲实验室成立五年多来，一直专注于AI赋能游戏及泛娱乐领域，积累了丰富的实战经验。
以捏脸技术为例。伏羲持续探索AIGC智能捏脸的相关技术，并首创了照片捏脸、文字捏脸等技术能力，这些都为业界探索智能捏脸提供了宝贵的经验。
睿风分享道，AIGC智能捏脸技术框架整体上基于照片捏脸。升级之处在于，中间嵌入了一个CLIP Model，这样便可发掘人脸美学规律，批量生成好看不重样的游戏角色。
相较于外部模型，伏羲这套技术优势在于数据更精准，生成资产更符合游戏业务需要。竞核了解到，今年六月份《逆水寒》手游中会搭载这一新玩法，所有玩家均可体验。
需要指出的是，这套技术目前已应用至美术生产管线中。要言之，在开发端美术可快速生成智能NPC，且符合策划塑造人设的要求。
在当天分享会上，睿风还分享了伏羲在AI绘画领域的最新进展。目前，伏羲AI绘画正在往三个方向探索。首先，内部正在测试Midjourney类SaaS工具，偏向整合至开发侧美术制作管线中。其次，则是推出辅助型工具，帮助美术画师进行前期概念设计。再次是，团队也在探索生成三视图、高精度3D模型。
像美术SaaS工具方面，图标生成工具已经非常成熟。据悉当前雷火事业群已利用伏羲AI绘画能力，批量化生成表情、道具、技能图标等。
从上图不难看出，美术表情图标，道具宝箱图标以及漩涡、莲花技能图标，均已具备落地应用价值。
竞核了解到，伏羲正在把上述绘画能力往玩法端推进。像近期《永劫无间》中新上线AI智绘·时装共创企划，玩家可利用AI绘画生成时装，接着投票看谁最受欢迎。这种创新玩法，一方面有助于激发玩家共创热情；另一方面它也为项目组美术打造新时装提供参考。
除开智能捏脸、绘画能力外，伏羲还布局了文本生成、竞技机器人、动画制作等多个游戏环节。需要指出的是，伏羲AI能力在游戏领域外也有所斩获，比如挖掘机器人、人机协作线上任务平台有灵机器人等。
面向未来，伏羲实验室会从纵横两个方向进行深耕：纵向上，在原有技术上把体验上往前推一步；横向上，用AIGC做一些创新性的玩法或体验，给游戏带来亮点。
不久前，笔者有幸跟睿风展开过一次深度交流。在那次交流中，我们还讨论了伏羲跟游戏项目组日常沟通模式；AIGC要想规模化应用于游戏领域，如何去解决算力、通用性等挑战；伏羲战略的最新进展以及背后的原因。
以下是本次交流部分内容，略经编辑：
问：伏羲正在探索哪些AIGC落地游戏的场景？
睿风：网易伏羲目前在AI绘画方面有两个落地方向。
一个是偏向开发侧的美术制作管线，去提升美术的制作效率。这个方向目前在内部的探索过程中，目标比较明确，也对业务团队有较大的价值，未来可能会推出一个SaaS工具。
日常工作中，网易伏羲和网易游戏的美术团队有着非常紧密的合作，比较清楚游戏美术的整个制作流程，所以这个平台本身会更方便游戏美术的制作习惯。但是，我们探索下来发现，现在的AIGC效果还不能真正达到专业美术的制作水平。所以目前在美术生产管线中，有几个点可以应用。
针对研发侧，第一块是一些长尾需求。这些需求大多属于质量要求没那么高，但比较琐碎又持续产生的那类。比如说道具图标、物品图标、技能图标等。从我们和游戏团队交流得到的信息，它其实是一个比较稳定的生产需求，可能每个月都有定量需求。但对美术团队来说，这类工作非常简单但却耗时，团队几乎每个人都会投入去做。
所以他们希望这种工作能交给AI，因为它所需的创造性较少，对于作品质量的要求也相对可控，AIGC能力基本可以弥补对方的生产需求，让美术团队可以投身大场景、大角色的制作，这是当下AIGC能与游戏团队达成明确合作的方向之一。
第二块就是美术原型制作中的一些概念设计，这个也是目前看起来比较明确的需求。主要是帮助游戏团队找一些灵感虽然产出的作品可能达不到直接使用的制作要求，但促进灵感的同时，团队可以在AI的基础上再做修改。
其实现在很多美术团队都会去体验AIGC工具，不管是伏羲还是外部团队的产品。因为他们原本的制作方式中，也会参考很多市面上的图片，以期启发灵感。
问：玩家侧这块，会有哪些应用场景吗？
睿风：玩家项目是我们另外一个落地点。虽然AIGC效果达不到游戏开发的美术标准，但对于普通用户来说，它的效果其实已经非常不错了。所以，我们想把AIGC和游戏玩法做一些结合，通过游戏策略的设计，把它做成像游戏的交互式玩法，让用户在游戏中体验我们各种AIGC的能力。
这方面目前伏羲及游戏团队正在探索落地过程，今年应该会有一些游戏能让玩家能体验到这种能力。我们也希望能让用户可以真正地长期体验下去，而不仅是受新鲜感驱动短暂的体验。
问：我们知道像伏羲服务的游戏产品品类非常丰富。那不同的品类，他们对AIGC能力最强烈的需求点是什么？
睿风：确实我们感觉不同品类的差异还是比较大。比如MMORPG，就是那种角色代入感沉浸感非常强的游戏。玩家在里面是在扮演一个角色，去体验这种游戏更偏向于真实世界的感受，并把情感代入进去。
很多3A游戏，比如战神，会给玩家设计一个AI随从，或者说伙伴跟在后面。这样做就是让玩家，在游戏过程中和它产生一个情感共鸣。MMORPG也是这样，我们希望制造出这样的一个氛围。
如果游戏里所有NPC都有这样的一个能力，有自己的世界观和背景故事，就能有非常好的体验。我觉得对MMORPG来说，AIGC是它非常需要的，能让游戏内所有人物都活过来的技术。
NLP技术只是其中一点，还有CV、语音等都是需要的。因为不同于ChatGPT这类外部聊天，玩家和NPC是在虚拟世界里聊天，且能够看到对方。他的表情、动作、口型、语音，是不是真的是像一个人一样能跟你去表达。所以这里面，NLP是比较核心的一块，但也只是其中一块而已，它应该是完整的一套体系。
问：在MOBA等强竞技性游戏中，它对AI哪项能力要求最高？
睿风：我们再举一个MOBA或者FPS这类对战型游戏的例子。这类游戏的玩家目的很明确，上来就是和对手进行激烈的竞争，所以在情感代入方面会弱一些，更需要的还是好的竞技体验。这背后对AI技术中的决策型AI的能力要求更高。
问：针对您举的这两个例子，MMORPG这种就是大家常说的EQ要高一点，像MOBA这类的就是IQ这边要高一点。其实整个市场上面的AI创业公司其实差不多也是围绕这两条线在走。而像网易、腾讯这样的大公司，则是两条线同步进行。那这两条线要把它做到让项目组满意，能给项目带来增值价值，这里面的难点挑战在哪里？我们又是怎么去克服的？
睿风：这个事情，说难是难，说简单也简单。
简单在于，如果只是单纯的把原来的技术落地到一个新的项目里面，我觉得不难。但实际效果是不是真的满足了游戏CP的需求，甚至超出他们的预期，这个是有难度的。
具体来说，以就拿伏羲为例，我们和游戏部门关系会比较紧密，所以经过这么多年的积累，我们在很多项目上已经有了一些落地，这些技术成果已经基本上得到了开发者的认可。再把这些通过时间沉淀下来的技术和落地场景，推到一个新的项目上面去跟他们结合去落地，其实比较容易。
因为我们可以通过AB测试等方式，跟它原来的技术方案的数据积累做对比。可以去证明AI是能帮助游戏提升，能够带来赋能。
难的就是，我们以前做过这些东西，慢慢的成为了现在游戏内的一些标品。网易这边很多游戏，都已经在用这些技术了。这使得我们要面临两个问题，一个是新技术能不能做的比原来做得更好？另一个就是，AI能不能给游戏带来很多差异化的体验？
针对这种情况，我觉得可以从两方面着手：纵向上，在原有技术上把体验上往前推一步；横向上，用AIGC做一些创新性的玩法或体验，给游戏带来亮点。
沉淀数据、打磨算法模型、包括对持续深入对业务与产品的理解，都是网易伏羲团队坚持在做的事情。并且网易伏羲从2019年起就坚持RLHF的算法思路，这些都是伏羲的技术发展的基石。
问：我们看到一个很有意思的现象，对于AI，游戏大厂选择自己做。中型厂商则选择投一家公司给我做。这种格局是越来越固化了，您觉得这个格局未来会有分化的可能性吗？可能一些中小厂商的也会采用咱们的一个技术，你就会有这种可能性吗？
睿风：我觉得一定存在此类的需求场景，比如Open AI这样的公司，它的底层能力确实是非常好，但他们也不会做下游应用，其理念应该还是卖基础模型和API。我觉得未来国内应该也会有这样的一些公司去做这样的事情。
因为底层大模型的训练，成本是非常高的，每个公司都能巨量投入去一个大模型是不现实的。所以我觉得未来肯定会有一个偏向openAI理念的公司，在国内做底层的大模型。
下一步可能会有中间层，比如针对游戏领域，可能会有一家公司，专门基于底层大模型去做适应游戏需求的微调，面向那些中小游戏团队，直接售卖或者提供服务。或者说有些小团队，基于底层的大模型自己做也可以。
当模型越来越大，AI训练成本越来越高的时候，这样形态分化的可能性还是很高的。基于大模型，面向应用层的公司在海外其实已经很成熟了。像Jasper ai，它就是基于openAI做了一个下游应用，按照这个发展路径，国内应该也是类似。
问：面向游戏公司这一块，伏羲目前还是在卖解决方案吗？除了游戏行业，伏羲也有像一些元宇宙、机器人厂商这样的一些客户，在这个方向上，商业模式会有什么创新点？除了卖定制的解决方案，卖调用之外，你觉得还有什么新的商业模式会出现？或者说，对伏羲来说，更加可持续的方式是什么？
睿风：目前网易伏羲更倾向于先把集团内部的支撑做好，将差异化的亮点先做出来，给游戏成功带来价值，对伏羲来说业务价值的实现是团队践行的最高衡量标准。
我们也在持续探索人机协作的技术思路，结合人工反馈和强化学习来提升AI的效果。之所以要做人机协作，是AI本身存在很多缺陷，即使像GPT做的这么好，仍然存在回答不是很好的问题。
所以我们的观点是，既然AI很难100%解决问题，我们就运用RLHF的思想，让机器在帮助人类与环境交互完成任务的过程中，即模仿学习人类的认知或决策能力，又能学习出一套仿真的反馈评价机制，从而在孪生环境中更高效地进化学习。
通过这样的一个思路，伏羲正在打造一个人机协作的平台。
问：从去年开始，伏羲陆续有布局元宇宙、机器人等业务。想问一下，跟往年相比，您今年工作重点可能会有哪些新变化？
睿风：其实我们去做挖掘机器人有明确的一个思路，简单来讲，就是把我们在游戏行业做AI沉淀五年多的经验，复用至其它行业。
我们认为现在AI行业，包括比较火的AIGC，其实偏向于数据驱动的技术。即这个技术本身非常依赖于数据。数据从哪来？我们认为数据本身就是由人创造，所以我们会用一种人机协作的思路去做接下去的一些事情，不管是挖机这种场景，还是说我们今年在做的一些AIGC落地尝试。我们都会用这种思路来推进。
我们不会做一个完全无人的挖机，而是把它做成一个数据闭环、人机协作的挖机。比如，前期有挖机师傅在挖，我们会把他的一些操作数据都记录下来。接下来，通过采用数据闭环这种形式去训练、不断提升 AI能力，从而达到减少挖机师傅工作量的目标。
在一些极端工作环境下，可能会让AI来介入，用人机协作的方式来提高效率。与此同时，也降低了工作人员的负担。
总的来说，人机协作模式是我们今年主要研究的方向。目前，我们也在自建众包平台，将更多人拉到我们生态圈，通过大家的帮助不断提升AI能力。后续我们会逐渐完善这套平台系统，使得它在接入任何需要AI的实际场景时，能够尽可能地降低接入门槛。
问：从产业视角来看，您觉得可能它会出现哪些新的、好的变化？除了算力挑战之外，还可能会遇到哪些难题？
睿风：好的变化很显然。现在疫情过了，大家都以经济发展为最主要的目标。国外AIGC的热潮也在影响国内的投资圈，很多资本关注了这一块。给了国内很多有志于AIGC领域的人，有机会拿到资源去做事情，这是好的一面。
同时，因为确实有国外厂商走在前面，所以到底有哪些应用场景比较有商业价值和潜力。对国内来说并不是完全摸着石头去过河，可以减少很多试错成本。
至于不足的地方，人才方面有一些欠缺。国内在大模型的建设上持续投入了很多年，但这部分的积累并不是特别深，相关经验的人才还是不多。这会阻碍模型做出很好的效果。
另外，也要取决于国内的决策者、投资者有没有耐心。因为这是个慢工出细活的事情，不是说去年准备了，今年GPT就做出来了。需要好多年的积累才能到那一步。行业的投资者、创业公司、管理者需要有足够的耐心去支撑这个技术的积累和发展。
问：如果我们把大的趋势聚焦在游戏这个领域呢？
睿风：游戏领域的话，首先就是AIGC技术在游戏里的落地，不管是网易的逆水寒手游，还是其它游戏，都或多或少的用很多AIGC技术去提升这个游戏开发效率。或是说在玩法体验上进行尝试。
另外，降本的效果很明显。比如AI绘画技术，我们发现在很多场景下确实可以做到提高工作效率，降低开发成本。另外能不能做一些新奇的玩法，以及一些以前不敢想的事情，这需要网易伏羲及业内伙伴一起去探索可能性。
至于挑战，对于伏羲实验室来说，是如何在人工智能技术日新月异的今天，做出更有竞争力的技术和产品，并且同时满足玩家和项目组的要求。但是网易伏羲也在探索一条合适的道路——结合人工反馈和强化学习来提升效果，这也是伏羲实验室的技术源头与基础。
问：对于游戏领域的AIGC，您能够觉察到的，或是希望看到的未来趋势有哪些？
睿风：我觉得AIGC在游戏领域必然能大量落地。从两个层次，一个是提升游戏开发效率，降低开发成本，尤其是美术的开发成本。如果能把这部分的效率提升5%-10%，对成本的降低都是非常显著的。所以我个人觉得这个方向是比较明确的，目前行业有不少的游戏团队已经开始用AI绘画工具去辅助创作了。
另外一块就是对游戏的这种场景来说，用文字和图片等来直接生成3D模型。未来发展上，游戏行业是有非常强的动力去促使技术往这个方向发展的。
问：关于伏羲，在游戏或者说非游戏行业这一块，您觉得还有方面需要补充的？
睿风： 目前，我们主要聚焦于两块，第一是游戏本身对于游戏行业的赋能，主要面向网易内部的游戏团队，以及对人工智能技术的探索和深入研究。这需要持续地投入和发展，目前我们已经有了比较丰富的积累和沉淀。
第二就是人机协作的发展思路，这是网易在游戏引擎及AI领域积累的深度融合，解决大规模算力数据及预训练模型闭环问题。目前有灵众包平台已处理了上亿级的数据量，在保证了游戏AI性能的同时，可以更加高效地收集游戏玩家的反馈，进一步提升AI性能。
《逆水寒》手游也是基于该技术为玩家带来高自由度的智能NPC玩法，今后将有更多游戏接入这项技术，为用户提供更极致的沉浸式交互体验。我们也期待这项在游戏场景中不断迭代的技术，未来能应用在更多元的场景之中。