用AIGC修改真实与虚幻的边界
写在前面：
这是一篇果壳的约稿，主要讲的是AI图片编辑功能outpainting和inpainting在视频方向的一些有趣的玩法。
从让人“san 值狂掉”的扭曲画面，到让人赞叹不已的作品，AI 生成图像实现这种跨越，就用了一年左右的时间。
艺术家 Boris Eldagsen 说，除了纪实，大部分摄影都可以被 AI 取代。但当大量模拟纪实照片的 AI 图像铺到面前，你也会觉得真实和虚幻从未像现在这样难以分辨。
Boris Eldagsen 和他获 2023 年索尼世界摄影奖的作品，但作品为 AI 生成，当时评委没看出这并非摄影作品｜网络
不过，今天我们不着重讨论 AIGC 的效果，而是要来介绍 AI 生成图像中最有趣，也最关键的能力——局部擦除、修改（inpainting），以及无限扩展图像（outpainting）。
Inpainting 就是涂抹掉图片中的局部，然后通过 AI 重新生成该部分的内容丨https://www.assemblyai.com/blog/stable-diffusion-in-keras-a-simple-tutorial/
Outpainting 就是依据提示词用 AI 扩展现有的画面丨https://bootcamp.uxdesign.cc/midjourney-v5-2-is-out-with-mind-blowing-features-fd91115319c1
别看这两种功能简单，我们不仅可以用来编辑图片，也能在前者基础上“进阶”生成视频，玩法无穷，就看你的创意了。
这功能不新鲜，但好用了才能火啊！
最近更新的 Photoshop (beta)，也新增了 inpainting 和 outpainting 这两种功能。而最新版的 Midjourney 也因为 outpainting 功能（官方称之为“Zoom Out”）再一次出圈。
其实，这些功能并非它们“首发”，去年夏天 OpenAI 的 DALL·E 2 就已经展示过这些特色功能，后来开源的 Stable Diffusion 也内置了，但都因为用起来不够方便，没掀起多大水花。直到知名生产力工具 Photoshop 搭载，才真正火爆了起来。
这篇文章中展示的作品，所用工具大多数都是 Photoshop。一是它的 AI 编辑功能效果最好，二是它还本身就具备完整的基础图片编辑功能，很多工作都可以一站式处理。
网页截图
其实，早在去年就有人把 Stable Diffusion 的 inpainting 功能制成 Photoshop 可用的插件。今年，Adobe 终于缓过神来了，把这些功能全都整合了进去。
局部重绘怎么玩？
你用新增了 AI 功能的 Photoshop，可以毫无痕迹地拼合、修改画面里的任何东西，轻轻松松就能模糊现实和虚幻的边界。
它刚一推出，就有人把网络上那些病毒式传播的梗图组合到一个场景里：
视频来源：https://twitter.com/HumansNoContext/status/1673910137650835456
把原本不存在于同一空间的事物，无痕拼接起来，是 inpainting 的拿手好戏。
我想到了塔罗牌——由 22 张大阿卡纳和 56 张小阿卡纳组成，那 22 张主牌每张都代表着某种品德或经验，我们唯有结合这些这些才能完全认识自己，成为一趟叫“愚人之旅”的成长。
我把这些牌面用 AI 无痕拼接起来后，这个成长故事在视觉上就连贯起来了。
能处理图片，自然也能处理视频，因为视频本质就是一系列图片（序列帧）的集合。
那么，如何用 inpainting 制作有创意的视频呢？我先拿我制作的“量子花”作示范：
整体思路就是修改画面里的局部元素，然后用 AI 补帧功能把多张图片链接起来。
我先是在 Photoshop 修改了实景画面中鲜花的品种，重复了 30 多次后，我拿到了 50 张图片，从中挑选我满意的。
接下来，我用 Runway 的 AI 补帧功能来制作视频。到 runwayml.com 上找到【frame interpolation】——这个补帧功能可以自动补充你上传图片和图片之间的过渡动画。这样我们就能得到不同鲜花之间连贯的变形动画。具体操作也很简单，只需要你上传图片，然后一键补帧即可。
你看，这鲜花在不断变化着品种！我将它称为量子花。
对于这次 AIGC 带来的变革，很多人焦虑，甚至恐惧，但我们也应该看到新工具带来的能发挥无穷创意的可能性，就像这朵不断变化形状的鲜花一样。
除了制作上面这种“变形动画”，我们还可以使用类似方法，来制作“生长动画”。这里还是用鲜花举例，通过一点点修改花束的边缘，来实现花束向上展开的效果。这里还是使用 Photoshop (beta) 和 Runway 两个工具。
除了植物的生长动画，还有国外设计师用它制作了建筑的生长动画，效果更加有趣、壮观，十分适合拿来重建烂尾楼！
视频来源：视频来自 Twitter 用户 @paultrill
图片拓展怎么玩？
Outpainting 一张图片，我们就能看到主体突破了画面的边界，看到意想不到的世界。
现在很多工具都可以 outpainting，最近很火的 Midjourney 甚至还专门推出一个能“定向拓展”的功能。可惜的是，目前 Midjourney 还不支持上传任意图片进行扩展，只能用平台生成的图。
我测试了目前市面上带 outpainting 功能的产品，如果你想了解它们的功能和优劣势，可以看以下表格：
目前图片拓展最常见的玩法，就是直接用 Midjourney 重复拓展照片，然后把多张图片连起来，制作成“主体不断缩小，外景持续入镜”的视频。目前网上已有非常多的教程，这里就不展开来讲了。
以上玩法主要还是以画面中心点向四周扩展，今天我们讲讲定向拓展——可以尝试向上、下、左、右的方向扩展画面。通过定向扩展，你会得到一张非常长的画面：
比如，这张图的尺寸是 6144 × 768，Midjourney 并没有限制图像的大小，我还可以继续拓展下来。拿到这张图后，用 AE 就能做成简单的动画了：
我录制了一段地铁的视频，然后还是通过 Runway 的删除背景功能把窗户抠掉，然后把这段实景视频以及用 Midjourney 做的定向动画，放在 AE 里结合一下，就成了这种窗外是异次元的视频动画了，你还可以把窗外的场景换成末世废土场景、赛博朋克城市、火星和月球……
除了这种定向延展的视频，在大家常见的“中心无限放大”这个思路上还有哪些有趣玩法呢？
我们还可以结合实景视频来做无限拓展，这样融合了真实和虚幻的效果，会更有带入感。
下面这个例子我用的是 Photoshop，思路很简单：架起稳定支架拍摄一段视频，保证视频无抖动并且画面周围一定要是静止的，只有中间部分是动态。
第二步就是把这个视频的第一帧导出成图片，再把这张图片通过 Photoshop 的 AI 拓展几次。我这里是将画面固定在 1920 × 1080 这个大小，每次把图片长宽缩小 50%，然后用 AI 补充剩下的部分。这样反复十几次。
如图，虚线的部分是 AI 填充的。
在 AE 里，备好一个实拍的视频，实拍视频的第一帧图片，以及用 Photoshop AI 拓展生成的 12 张图：
统统把它们放到 AE 里处理，就生成了以下这个视频：
这个俯拍视频，从工作室一直放大到建筑、城市、大陆和星球。制作完了之后我才发现，这个视角特别像是《三体》里智子监控人类的视角。
感谢 AIGC，让这种几乎不可能存在的视角轻轻松松就实现了。
上面我们提到了两种 outpainting 的创意用法。一种是重复扩展图片，然后把图片拓展的过程做成动画，另一种是用实拍视频融合 AI 扩展图片，这个做法模糊了真实和生成的边界，冲击力更强。
但玩法远不止这些，Twitter 用户 @paultrill 做了这么一个尝试：
用 AI 让图片和视频自然地衔接和过渡，用来做转场素材非常合适丨@paultrill
AIGC 将会如何改变图像、影视后期
如果说去年的重点都在文生图上，那么今年的焦点则是 AIGC 与视频。生成图片效果已经足够惊艳后，我们看到越来越多的新技术都开始服务于视频、动画。
如果非要预测的话，未来一年必定会有针对细分视频工作流的产品出现，国外目前做的最好的是 Runway，国内各大短视频的公司都在开始研发相关的产品了。
这将是一个人人都可以轻松用 AIGC 实现自己的创意和想法的时代：真实与虚幻的边界也会越来越模糊，创作空间在扩宽；每个想法都能快速变成作品，创作门槛在降低。这对于创意者来说，无疑是一个从未有过的好时代。