解码融创文化的“AI变革”，五大部门集体亮相，工作流全面拥抱丨文娱行业AI转型巡礼
The following article is from 视智未来 Author 李书航
作者|李书航
这或许是融创文化近年来接受的最详尽的一次采访，也是他们对自身近几个月的AIGC探索最明确的一次阐述。
娱乐资本论了解到，融创文化今年在将AI融入到他们的多个业务领域中，包括动画电影、视觉特效、网生内容、动漫IP、实景运营等。
近日，融创文化集团总裁孙喆一（Kevin），以及上述五大部门的高管集体亮相，在东直门的融创总部面对娱乐资本论进行了2个小时的独家访谈。一幅全面探索AIGC的全景图在这次访谈中徐徐展开。
我们将在下面的文章里，给读者详细介绍这次访谈的精彩内容。
作为娱乐资本论AIGC50获奖单位之一，融创文化和其他十余家文娱公司一起，都是文娱行业AI转型的代表。娱乐资本论将在接下来的“文娱行业AI转型巡礼”系列报道中，带来更多这方面的详细信息，欢迎各位读者持续关注。
阿狸是从互联网初代论坛、表情包中走出的，广受欢迎的卡通形象。融创文化旗下的梦之城，主要负责阿狸IP的运营和授权。该业务的负责人向娱乐资本论表示，AI在风格延展和人效优化方面有巨大潜力。
“在IP创作上，AI常应用于风格延展，而不是应用于IP本身。因为IP形象对使用规范要求极高，如IP的特征属性、头身比例、特点服饰等，无法完全按标准生成。但在泛化需求的设计上，AI可以有更多介入，也会解放一定的设计产能。如创作前期，针对设计概念/灵感版的头脑风暴、设计风格探索、生成素材等创意部分，AI能发挥很大作用。”
这段时间，梦之城团队使用Midjourney为设计风格提供灵感、生成样机以及部分场景绘制。举例说明：
“我们正在进行的研发项目里，都在与摄影和编剧团队积极讨论如何采用AI技术。目前，我们认为有五个方面可以开始应用，或正在测试AIGC。”
01
文字策划和剧本
“我们对Notion AI的了解较为深入，因为它整合了ChatGPT的功能，同时处理较长的文本，可以多人协作，在线及时修改。” 通过使用Notion AI以及ChatGPT，他们能够在3小时内完成简单策划案的制作，以前这通常需要一个专业团队至少1-2周的时间。
02
美术设计
在前期美术设计阶段，团队综合应用了Stable Diffusion与Midjourney去进行不同风格的概念探索，这种方式已深度运用在一部奇幻草原主题的新动画长片中。“以一个具体角色为例，当通过剧本描述人物时，如果导演对人物的外貌不太清楚，我们可以使用AI来辅助设计。通过AI的辅助确定了一个参考方向，这大大加快了进程。”
“以前，我们可能需要五六个人在两个星期内出100种方案。但现在，导演只需要大约一个人，在一周或几天内就可以找到一个方向。”
他们会通过对prompt的细化和调整设计人物形象，制作地形、河流、草原等场景图，供视觉开发艺术家参考。
在中期美术设计阶段，主要有两个方面的应用：一是用AI做一些道具变体，加快迭代速度；二是用AI提供模型的材质模拟效果，可以更贴近模型造型同时也能生成更高清的材质效果图。把这些应用嵌入到生产流程中，能优化传统美术资产的反馈流程，直接渲染出最接近成品的细节造型和材质效果。
“我们可以通过加上一些光影和深度感来增强画面。如果我对大体效果满意，但是对某些细节如材质和形状不满意，也会使用AI来创建精确的修改。”相比之前只能用模糊的语言描述心中想法，现在这种可视化渲染出各个修改方向的做法，无疑让剧组的沟通更直观迅捷。
03
分镜头制作
AI工具能提高分镜图的完成度，补充光影和景深方向的信息。
04
音乐和声音的训练
最近，“AI孙燕姿”背后的so-vits-svc技术也进入了动画电影团队的视野。替代人类“声优”有很多不同方面的好处，比如不用担心档期，人员状态，也不用担心万一“塌房”需要批量替换。
“我们也在使用声音模型，主要用于前期配音，当导演需要特定的音色时，我们可以通过训练模型来获得所需的声音。或者可以请我们团队中声音好听的同学，来配出一个音色。”
05
资产管理
此外，动画电影团队在企业内部通信工具中嵌入一个机器人，提前训练关于各个项目的资料，这样就可以使用自然语言查询各种数据，包括项目进度等。“例如，通过简单的语言询问项目的进度和状态，并获得精确的回复，这样可以大大提高效率，从而减少许多审批流程。”
Base Media（倍视传媒）是融创文化旗下的视觉特效和动画工作室，是少数参与好莱坞大片视效制作的中国工作室之一。BASE视效总监在计算机图形领域深耕了近25年，见证了计算机行业的发展浪潮。
“我们一直在探索如何应用AI。首先，我们需要确定市场需求，以及如何更好地支持我们各部门的艺术家。”
“AI给行业带来了巨大的变革，提高了视效内容的生产力。而我们主要关注的几个大型的管线（Pipeline），在AI的加持下制作效率得到了进一步提升。”
目前，BASE在工作中主要使用皮克斯开发的USD（Universal Scene Description）框架、开源工具Blender和虚幻引擎（Unreal Engine）等。他们将ChatGPT以及ControlNet融入已有工作流，帮助进行概念艺术创作。
以Blender为例，具体展示如何结合ChatGPT进行动画人物的模型生成，包括AI渲染、AI分镜处理、AI视觉预览等。
“我们初步以生成风格化的故事版图片作为参考图，再用Stable Diffusion的图生图能力，创建出动态的故事板视频。此外，我们也会用图片资料训练出专属风格，从线稿推导出效果图。过程中，我们能快速看到导演想要的效果。”
“我们现在会用AI来完成这些工作，无论是视频还是静态图像。例如，如果导演表达他喜欢某个动作，并且我可以从视频或电影中获取它，我可以用它转化为符合我们风格的版本。我们可以在非常短的时间内，选择输出版本并进行转换。”
工作流开发上，通过使用简单的色块贴图，可以将AI生图用于3D画面渲染，最大化解决连续图像被处理后跳跃、不连贯的难题。这个流程一旦测试成功，那就可以快速更换不同的地点、光线等信息，快速出片，支持艺术家快速验证其创意。
“我们还使用ChatGPT激发创意。”将ChatGPT定位为一个专业的摄影师、后期处理师等，会把问题尽可能清晰地编写为prompt，交给ChatGPT处理。通过加入相机移动、镜头语言等专业术语，也可以催化ChatGPT调用专业知识。
分享了一个实际的例子：“首先，需要有一个清晰的概念。然后，ChatGPT会根据关键信息生成内容，例如询问城市中的哪些地点适合故事发展。然后，它会为内容提供很多场景，并找到相关的地点。根据这些信息，它会像剧本一样撰写文本，包括地点和发生在那里的动作。它还会明确镜头移动和时间点。然后，我会要求它为我提供相机移动和镜头语言。它会为每个地点和角色提供建议的镜头，并列出镜头。基本上，在这种情况下，它会一直把剧本写下去，哪怕时间跨度有100年。”
此外，也会利用ChatGPT的编程能力，编写Blender可以识别的程序脚本。“ChatGPT编写的代码不仅错误率低，也可以在指出错误后进行自我修复。”
6月12日，在娱乐资本论联合主办的首届上海文娱科创沙龙上，《流浪地球》导演郭帆表示，“AIGC让我们的影视业和好莱坞重新站在了同一起跑线上，有弯道超车的可能。”的确如此，从概念创作到3D渲染，AI的应用正在改变动画制作的面貌。
作为一家中国后期的电影视觉特效和动画公司，Base Media三次赢得艾美奖，具有世界声誉。它最新尝试的原创动画电影《许愿神龙》也在Netflix上收获好评。基本上可以说，BASE正在进行的AIGC尝试代表了包括好莱坞在内，人类电影工业最前沿的技术认知。
去年年底开始，AIGC工具开始在融创文化刚立项的一部真人特摄剧《星能守卫者》中发挥效用。该项目是一个以新能源为主题的真人剧，主要讲的是少年们驾驶新能源驱动的战甲与污染环境的怪兽作战的故事。
“真人特摄是指类似奥特曼和假面骑士这样的作品，是真人出演的超级英雄作品，通常穿着皮套。这类作品是我们公司IP长链运营战略的一部分。”融创文化的网生内容负责人表示。
“AI在特定类型的短片创作上有很大的帮助，但在古装剧的创作上还存在一些困难。”他指出，“我们之前稍微尝试过，但现有的ChatGPT更像是一个‘玩具’。如果要写中文剧本，如古装剧，文化差异是一个障碍。”
真人特摄剧的受众多是6-10岁的儿童，对特效要求相对低。如何通过AI代替人物实拍，是融创文化发力的方向之一。“现在，AI生成人物方面，在骨骼准确性上表现良好，但在环境光影方面还有待提升。”
“我们现在的项目是初步的辅助创作。我们使用一些工具来帮助艺术家绘制设计。”人物设定上，一些机甲形象可以使用Midjourney的二次元风格插件niji快速生成图片。对于这类“打怪兽”的系列影片，怪兽是某种程度上需要“量产”的，此时AI辅助创作就对设计师有了实际的助力。
“巨大英雄的制作会面临高成本，特别是当使用特效。除非特效的成本降低，否则成本控制将非常困难。”利用AI生成素材、进行虚拟拍摄，不仅可以节省成本，拓展创新内容，也可以丰富节目形式。“之前我们做太空场景的成本会很贵，现在降低了很多。通过AI技术，我们也可以让特摄剧的主角和观众互动，做成互动电影的形式。”
该负责人提到了一种新的业务模式：“因为实时渲染，以往需要提前制作完成的内容可以实时展示。这可能会引入一种新的业务模式，即直播，因为它可以实时进行演出和渲染。观众可以选择英雄，可以选择打怪兽，同时还有城市战、弹幕游戏等玩法，这以前是无法实现的。”
这样的作品在也会陪伴一代小朋友的成长，未来的二十年里仍能体现出情怀的力量。网生内容团队对未来充满期待：“我们有长篇剧，并且也在考虑短剧。但我们更期待在科幻领域取得突破。”
融创文化旗下有众多IP，而其中一个独特的IP利用方式便是打造遍布全国的融创乐园、融创文化旅游城等主题公园，以及各类主题展览。目前，《流浪地球》的IP实景正在开发中。
采访中，融创文化的实景管理部负责人详细介绍了实景运营领域的AI应用，涵盖了项目创意、互动体验、生产联动和管理优化等多个方面。
“AIGC别致和多样的创意涌现，可以帮助我们在实景项目规划时，从概念故事动线、场景设计、到场景命名等多个环节起到‘四两拨千斤’的作用。特别是，当诉求结合实体空间的场景，如是否封顶、建筑面积、一定要有的和不能有的元素、主要受众等，在prompt中详细列出时，得到的很多创意都令人惊艳。”
“我们的实景应用与内容部门在创意过程中的应用非常相似。例如，我们的沉浸式体验视频的概念、故事、功能内容以及每个主题区的名称，都可以通过AI的辅助来实现，当然，这首先还是需要我们策划人员的创意和指挥。”
拿融创文化正在筹备的《流浪地球》实景项目来说，“太空电梯的轿厢是可乘坐的，并且周围有巨幕投影的感应效果和战斗画面。空中有像‘领航员号国际空间站’这样的巨型装置，内部还有许多细节是互动的。”
“AI在数据分析，优化景点管理等方面也有很大潜力。”实景管理部负责人强调了AI在运营服务中的应用：“我们可以将AI技术用于智能推荐、导览和自然语言对话，为游客提供更个性化的内容推荐。我们的实体项目会有线上平台和空间，在线下体验时，通过手机小程序的互动和扫描，本身就有AI感应，游客还可以与虚拟角色互动，有陪伴和导览。”
在AI加速催化开发进度的帮助下，《流浪地球》IP的线下实景游乐项目，将很快在国内落地，与影迷和游客见面。
说了这么多，融创文化是怎样让包括上述5个部门在内的全公司都动起来，投入到AIGC的结合与应用中的呢？让我们来听听融创文化集团总裁孙喆一（Kevin）的介绍。
早在2020年，融创文化就注意到AI具备了为线稿上色等功能，觉察到公司的业务需求可以和AI融合。2021年的NFT热潮，也让他们注意到AI可以大批量生成创意，这不仅意味着降本增效，也为文娱行业的内容生产带来了更多可能性。
今年2月，AIGC占领各大媒体头条。此时融创文化发现，AI的可用性超过了他们的预期。
“AIGC给我们造成了巨大的冲击，我原本以为能慢慢探索AI，但它的发展速度超乎了想象，这也让我们的企业面临着巨大的危机。如果未来半年，尤其是动画领域的AI技术变化更大，我们很容易被小玩家超越。这使我们需要改变思维方式，从对标传统动画制作公司的制作流程，转向面对可能仅有几十个人的团队、千万级别的投资，却能创作出70-80分的产品的挑战。竞争对手的体量更小也更多，挑战更大。”
现阶段，融创文化在保持原有产品线稳定运作的同时，也在将AI融入到工作流中。经过几个月的摸索，公司各个业务部门都交出了一份AIGC答卷，正如他们向娱乐资本论展示的那样。
今年，融创文化在探索如何将AI技术应用到自身的多条业务线时，不仅是在各业务内部试水，也在跨业务开展研究及分享，更好地利用新技术。
孙喆一强调，“我们公司是在全面为AI的到来调整发展策略，而不是停留在表面上的拥抱。”
他预计，视频模态的AI新技术最早将在今年下半年出现。为此，公司也在尝试制作全流程AI的影片。“尽管现在AI发展还不成熟，但是我对AI在影视行业的应用，抱有极大的兴趣和信心。之后，融创文化会有更多的作品，将AI制作融入流程。我们力求将4-5年出一部影片的制作周期，缩短一半。这样能更好的避免被‘一个几十人的小团队只花千万就做出一个70分水平的东西’的降维打击。”
在娱乐资本论近期访问的众多文娱公司中，大家都在用自己的方式去做AIGC方向的转型。有的公司在发出一连串公告之后，股价飙升。但更多公司并未真正做出调整，拥抱变化。而融创文化在向AI转向这方面的步伐，则是相对迈得非常坚决的一家。
它们是否能在变革中占据先机？又会在AI技术的加持下，推出怎样的作品？这令我们印象深刻，也充满好奇地注视着他们未来的发展。
话题互动：
文娱行业全面拥抱AIGC，会带来怎样的改变？
推荐阅读
如需商务合作后台回复【商务】
如有转载需求后台回复【转载】
更多文娱产业背后的经济逻辑，来关注↓↓↓