迪士尼正将生成式AI用于这些场景

各种迹象显示，几年前就将AI技术用于动画制作等环节的迪士尼，正将生成式AI应用于其更多自身业务中。

迪士尼推出情感智能机器人

以吸引观众并重新定义主题公园魔法

日前，华特迪斯尼幻想工程研究与开发公司展示了它的最新作品——一个使用动作捕捉数据来创造具有情感影响的逼真表演的机器人。

迪士尼乐园、体验和产品主席 Josh D'Amaro 以令人惊叹的机器人演示在 SXSW 上大放异彩。在一场壮观的演示中，一个机器人设计得像动画电影“疯狂动物城”中深受喜爱的兔子角色Judy Hopps，从盒子里出现，在舞台上滑旱冰，表演令人印象深刻的翻筋斗，让观众惊叹不已。

ChatGPT这项革命性的技术为华特迪士尼公司提供了一种全新的方式，让其心爱的角色栩栩如生，展示他们独特的个性，并为主题公园的游客创造难忘的体验。

这是机器人 Judy 第一次滑旱冰，她的创造者故意把她设计得动作笨拙，让她更容易与人类产生共鸣和亲近感。华特迪士尼幻想工程的首席研发想象师 Tony Dohi 解释说，该团队的目标是创造一个可以在情感层面与游客互动的机器人。为实现这一目标，他们使用了高性能材料和动作捕捉数据，使机器人能够以独特的情感水平进行表演。机器人的动态动作和韧性使她引人注目，但正是她唤起真实情感的能力使她有别于其他动画角色。

作为迪士尼首款栩栩如生的机器人，能够进行复杂的类人动作，旨在与游客建立情感联系。该技术有望成为新一阶段的魔法，从而革新主题公园的体验感。

当全世界对迪士尼最新的机器人惊叹不已时，人们对主题公园中化装角色的未来产生了疑问。迪士尼是否计划用能够与游客建立情感联系的逼真机器人来取代人类演员？

此举的潜在好处是可以最大限度地减少对过热、安全和维护成本的担忧，无需长时间休息或间歇，机器人可以无缝融入公园运营，为客人提供不间断的体验。

但机器人的引入引发了安全问题，以及需要人工操作人员保护精密机械免受损坏或破坏的问题。

人工智能不能像人类那样体验情绪，但人工智能有可能在一定程度上融入情商。情商涉及理解他人情绪并做出适当反应的能力。通过分析与人类情感相关的数据，人工智能可以学会以更具同理心和个性化的方式识别和回应情感线索。

据悉，迪士尼的新型原型机器人可能会在上海迪士尼度假区的“疯狂动物城”乐园中饰演Judy Hopps。上海迪士尼乐园目前正在建设疯狂动物城乐园，计划于今年晚些时候开放。游客可能会看到真人大小的Judy Hopps 在这片土地上滑旱冰。

迪士尼还在开发一个潜在的“疯狂动物城”和“海洋奇缘”乐园，虽然该计划在很大程度上仍是个遥远的蓝图，但它也是机器人 Judy 可能出现的地方。

迪士尼疑似在电影《舞会契约》（Prom Pact）中使用了计算机生成的临时演员

在迪士尼频道新上映的青少年电影《舞会契约》的开场场景中，一些眼尖的观众注意到了一个奇怪的细节：四个看起来像模拟人生的假背景群众演员。迪士尼尚未就此发表回应。

由 @kelseykid_ 发布的一段视频在美国TikTok上走红，一群高中生正在观看啦啦队表演这一场景的屏幕截图也被广泛传播。坐在看台上的大多数临时演员看起来都很正常（即像活人一样），但有四个显然是计算机生成的。

这些计算机生成影像（CGI）角色只出现几秒钟，占据了一些普通演员后面的一排座位。大多数观众可能没有注意到他们在那里，但如果刻意去看，他们笨拙的动作和冷漠的面部表情就显而易见了。

有评论推测了使用假演员的可能原因，例如疫情安全措施或预算问题。其他人则指责迪士尼的电影《后裔》（Descendants）系列在做类似的事情。

然而，这些关于削减成本或疫情期间保持社交距离的理论并没有真正的意义，因为其余的人群是由真正的演员组成的。在同一场景的其他镜头中，临时演员和主要演员并排坐在拥挤的看台上，似乎也没有人发现 CGI 角色出现在其他地方。

整部电影中还有很多人类演员，扮演同一所高中的其他青少年。这表明这四个看起来像模拟人生的临时演员只是在后期制作中添加了一个镜头，可能是为了填补座位上尴尬的空白。

电视节目和电影通常使用 CGI 作为一种经济高效的方式来创建逼真的人群，而无需雇用额外人员。但通常在编辑过程中会模糊掉，以免被观众看到。

CGI 临时演员并不是一项新的创新，但它们通常用于远距离显示的大量人群场景，早期的例子是指环王三部曲中的战斗。然而，在相对特写镜头中使用计算机生成的临时演员并不常见。一旦你知道它们在那里，看起来就会很尴尬，最可能的解释是插入它们是为了纠正原始镜头中的某种错误。

FRAN：人工智能让面部老化自动化

去年11月底，为了避免花费数小时的后期制作 VFX，迪士尼研究人员创建了一个可以为他们完成工作的人工智能工具。只需点击一下，就能让演员在视频中看起来更年轻。

专注于电影制作技术创新的迪士尼研究工作室（ Disney Research Studios）在其新研究中展示了一种名为 FRAN（face re-aging network） 的新面部再老化网络，它简化了演员的老化过程。

在其学术论文中， Disney Research Studios 解释说，FRAN是一种神经网络，它使用一个大型数据库进行训练，该数据库包含成对随机生成的不同年龄的合成面孔，这避免了去找几千张在相同的面部表情、姿势、灯光和背景下记录着不同年龄的真人图像。

位于苏黎世的迪士尼研究人员生成了数千张虚构的面孔，并将其输入数据库，训练 U-Net 架构如何老化和去老化它们。例如，FRAN 可以预测面部的哪些部位会随着年龄的增长而发生变化，并自动生成或去除皱纹。

通过将这些细节叠加在原始面部上，最终的镜头也将保留更多演员的真实面貌。此外，得益于 AI，艺术家们将能够通过更本地化的控制和创作自由来微调老化效果。

FRAN 使用这些信息来预测真人面部的哪些区域会老化以及如何老化，然后将新的细节（例如添加或消除皱纹和下巴）叠加到视频片段上。其结果是迪士尼研究工作室声称的“第一个实用的、全自动的和生产就绪的方法，用于对视频图像中的面部进行再老化”。

FRAN并非独一无二，也有一些局限。迪斯尼在其研究中指出，FRAN 可能不适合重大改变，例如从非常年轻的年龄开始重新老化，并且当演员变老时头皮头发变白不会反映出来，因为这并没有加入用于训练它的数据库里。鉴于手动 VFX 工作甚至实际的假肢化妆应用都没有这些限制，FRAN 在很长一段时间内不太可能取代很多行业的工作。

尽管如此，与几年前的荧幕示例相比，FRAN的应用结果看起来还是可圈可点的。毕竟，在 2016 年的《美国队长：内战》中看到减龄后的小罗伯特·唐尼时，观众都称陷入了恐怖谷效应。

即使存在运动模糊等典型视频效果，FRAN 也展示了对象的老化情况。 

迪士尼作为以给演员重塑或减龄而闻名的电影大厂之一，一直致力于视觉效果自动化。除了像 Leia Organa（Carrie Fisher）和Wilhuff Tarkin（Peter Cushing）这样的星球大战角色外，漫威电影宇宙中的角色近年来也都进行了视觉调整，如Nick Fury (Samuel L. Jackson), Hank Pym (Michael Douglas)和活体星球伊果（Kurt Russell）。

这也不是迪士尼第一次训练 AI 来改变人在视频片段中的外貌，其研究部门此前曾在 2020 年发布过“写实般逼真”的deepfake深度造假工具。工业光魔（Industrial Light & Magic）也致力于减少实际使用的后期制作视觉效果的系统，例如用于《曼达洛人》的 20 英尺高的巨型 LED 视频屏幕。

Hello！我们在为更加闭环、更加高效的服务模式做准备欢迎加入限定白名单与我们一起探索