前段时间大家还在探讨
AI绘画生成的模拟照片已经可以以假乱真
甚至都会有设计上的思考了
刚刚更新的midjourney5.1
则细节效果更夸张
简直堪比高清摄像机
AI生成的情侣照因「太真实」被全网疯传!该技术已实现与逝去亲人对话
值得注意的是
在最近
又有一个AI生成的写实视频刷屏了!
它居然可以实现
大叔秒变少女?!
为什么视频中的AI的应用已经几乎没有抖动还能如此稳定?
视频制作者透露幕后使用工具是Stable Diffusion、ControlNet、Temporalkit、Ebsynth等最终结合后期处理。其中能如此稳定的输出使用Ebsynth是很重要的,Ebsynth是Secret Weapons在2019年7月9日发布的一款可轻易改变视频风格的免费AI工具,其特色功能是将真人视频转换成动画视频。
Ebsynth 适用于各种任务,例如为图像和视频着色、纹理传输和图像风格化。它的工作原理是分析源图像的视觉模式并将它们转移到目标图像上,同时保留它的整体结构和内容。
为了获得逼真的效果,不同物体的移动需要达到精准同步。Fusion可以自动跟踪、动作匹配并稳定镜头中的对象。您甚至还可以使用改进版平面跟踪器,来替代那些移动的标记或其他平面物体。此外,改进后的摄影机跟踪器还可以分析并匹配用于拍摄该场景的摄影机的实时移动!基于稳定性,AI中真人和风格化的动态效果测试已经可以有更多拓展。其中在这个视频里可以看到 ControlNet1.1 的 Tile 功能,增加描绘的细节。包括还可以应用在动态模型中建立好数据库进行快速细节渲染生成。AI在概念设计上的拓展!
Blender AI 自动贴图插件 Dream Texture
Dream Texture这款自动贴图插件可以实现快速贴图,其原理就是从视图角度投射贴图,因为在 Stable Diffusion 的新模型可以生成深度图,因此贴合效果优化了很多,同时缺点也很明显,它只会渲染出表演的效果,比如换到视角背面就没有效果了,限用于快速贴图或者角度变化不大的场景效果,风格化场景应用效果较好。以下图案例为例,左图为简笔画,右图在场景和人物绘画上直接可以提供出优质的绘画方案。
如果可以结合的使用 ControlNet 的 canny、depth、lineart_anime还可以实现漂亮的着色。
AI上色效果视频展示
②使用Stable Diffusion进行角色绘制虽然比不上做工精细的Live2D,但是可以一口气搞定的动作也很可爱。在唱跳结合方面,效果也逐渐稳定,技术的迭代有很多的拓展性。
本期话题
你还期待AI在哪方面的应用?
—END—
另外添加wuhu小精灵5号企业微信(17778021721) 发送“动画新势力”即可在不久后被邀请进群。