无界AI专业版功能介绍 | 酷炫“条件生图”,助你0成本进阶专业选手!
专业版2.0可以自定义设置的参数非常多!包括修手、修脸、无损放大等等宝子们经常提到的图片处理功能,都可以在这里得到满足!
打开专业版,左侧显示的是无界AI专业版2.0页面目前提供的功能:文生图、图生图、条件生图、局部重绘、多区域控制绘图以及AI实验室。
今天小编先给大家介绍一下专业版2.0目前已经上线的几个功能和效果,尤其是条件生图的使用与效果!基础参数将在后期与大家分享,尽请期待哦!
文生图
文生图这个功能,与无界AI普通版的使用差距不大,但是右边的参数会更加细致,适合追求细节的进阶选手。
图生图
图生图的功能,相比文生图多了一个上传图片和创意度选择。使用方法可以参考无界AI普通版,同样属于为追求细节的进阶选手准备的功能。
篇幅问题,今天着重介绍“条件生图”,有兴趣向高阶魔法师进阶的宝子,可以期待明天的参数详解!
条件生图
条件生图是基于无界AI专业版的重要工具。
在条件生图的所有功能下,都可以切换文生图与图生图2种模式,更加有效的帮我们生成出可控性更高的图片,降低AI绘画的随机性。
文生图模式可以直接使用提示词创作,图生图模式参数与局部重绘相同,区别只在于,你可以上传一张描好的蒙版来代替局部重绘自带的画板。要实现精确的区分就需要使用这个模式。
上传蒙版的优势在于,可以通过蒙版制作等工具制作精细的蒙版,实现精确的局部重绘,结合AI实验室中的分割一切的功能进行精确重绘区域选择。但其实局部重绘一般用不到太高的精度,通常使用普通局部重绘涂覆即可。
上传蒙版,就能做到精准控制重绘区域。上传蒙版模式基本用法:制作蒙版-上传参考图与蒙版-更改参数→抽卡。
比如用姿态识别固定人物动作,用深度检测进行室内设计,用涂鸦上色进行创意绘画,用边缘检测进行线稿上色,用线段识别进行建筑设计……
下面是新版本16个条件生图功能的简单介绍:
# 法线贴图
法线贴图根据用户上传的图片生成一个建模风格的预处理图后再生成图片。适用于人物建模和建筑建模,人物建模效果的更佳。
使用法线贴图可以在固定人物本身轮廓的的基础上,通过提示词,更改部分效果。比如将原图人物的红色连衣裙,更改为黑色连衣裙。
如果图片更加复杂的情况,可以使用“图生图”模式,通过蒙版固定需要调整的区域:
02
姿势控制
主要用到条件生图中的骨骼捕捉。
# 骨骼捕捉
会依据骨架精准生成人物动作。它可根据用户上传的人物图作为Al绘画的参考图,提取人物的姿态、动作甚至手指的骨骼,生成一幅相同姿势的图片、避免生成多手指或少手指的照片,效果准确且惊艳。
预处理器:openpose,openpose_face,openpose_faceonly,openpose_full,openpose_hand
预处理器功能:
画身体:openpose预处理器;
画身体和表情:openpose_face预处理器;
画身体和手:penpose_hand预处理器;
画单独的表情:openpose_faceonly预处理器;
画身体,手和表情:openpose_full预处理器。
除了直接上传动作图片,无界AI目前为用户提供了108项站立类、6项酷跑类、10项踢足球类、7项下落类、8项瑜伽类、7项双人互动类、77个武术类等共计223个动作姿势。未来还有更多的动作姿势,甚至“手势”姿势。
绝对是创作AI漫画必备的工具哦!
值得注意的是,在动作库中选择时,一定要保证预处理器选择none,否则无法使用动作库。
效果如下:
无界AI漫画家@许煜凯多次运用骨骼捕捉制作出少年漫画:
除了直接从动作库导入,也可以直接上传动作图片。
与直接从动作库中选择不同,上传图片时预处理器需要选择openpose,模型选择control_v11p_sd15_openpose,其他参数保持默认即可。
最终生成效果如下,看看生成出来的照片,模特的姿势就几乎完全复刻出来了。
预处理器除了openpose,还有openpose_full,openpose_hand,openpose_face,openpose_faceonly多种选择。
除了识别人物整体的姿势以外,还可以识别手指的骨骼,这样在一定程度下就可以避免生成多手指或者缺少手指的照片。
在日常使用中,如果原图的手指骨骼比较清晰,可以用识别到手指的预处理器(openpose_hand)。如果识别出来的手指线条比较乱,自己调整也没调整好,那就只识别身体姿势(openpose),不然生成出来的照片手指反而更乱。
“预处理器:openpose_hand,模型选择:control_v11p_sd15_openpose”这套参数可以在还原动作的同时,对手部细节进行更加精准的控制。
“预处理器选择openpose_faceonly,模型选择control_v11p_sd15_openpose”这套参数可以在还原动作的同时,对脸部细节进行更加精准的控制。
需要注意的是,控制表情的最好用在生成近景特写图片,这样识别出来的才比较准确。
03
线条控制
图片的线条控制主要用到条件生图中的边缘检测、轮廓识别、线稿提取与线断识别:
边缘检测:可以最大还原照片的轮廓;
轮廓识别:适合只想控制构图,给AI更多可以变化的地方;
线稿提取:适合还原真人、素描等照片;
直线检测:适合还原建筑物与装修。
# 线稿提取
会依据生成的线稿进行线稿上色。作为专门提取线稿的功能,它可以针对不同类型的图片进行不同的处理。点开预处理器可选择处理器有4个选项,分别对应不同的功能。
预处理器:lineart_anime, lineart_anime_denoise, lineart_coarse, lineart_realistic, lineart_standard (from white bg & black line), scribble_xdog
预处理器功能:
处理素描类线稿:lineart_coarse
处理真人线稿:lineart_realistic
处理动漫线稿:lineart_anime, lineart_anime_denoise;
为线稿上色:lineart_standard,只需输入一张白底黑字线稿即可。
比如可以上传自己的照片,提取出线稿,然后生成自己的二次元头像。要生成二次元照片,一定要先换成合适的预处理器:lineart_realistic
还可以将真实的照片转换成真实的照片,生成一个长的很像的人:
# 边缘检测
会依据线稿进行绘图。这是一种比较常用的线稿提取方式,可以识别到画面最多的线条,最大程度的还原照片原始轮廓,尤其在处理二次元图片方面效果更好。
预处理器:canny
预处理器功能:边缘检测,提取画面的精细线稿(黑底白笔)。
边缘检测,预处理器canny效果
# 轮廓识别
会依据检测出的软边缘进行绘图。但它只能识别图片大概的轮廓细节,线条比较柔和,同样给AI发挥的空间也比较大。
预处理器:SoftEdge-hed, SoftEdge-hedsafe, SoftEdge-pidinet, SoftEdge-pidisafe
预处理器功能:整体嵌套边缘检测,软边缘检测。
轮廓识别,预处理器softedge_pidient效果
# 涂鸦上色
会依据线稿进行绘图。可以对用户上传的一张图片或线稿提取涂鸦图(参考图涂鸦或手绘涂鸦图都可以),再根据提示词和风格模型对图像进行着色和风格处理。非常适合进行创意绘画和儿童绘画。
预处理器:Scribble-hed, Scribble-pidinet, Scribble-xdog
预处理器功能:以涂鸦的方式提取画面的粗线稿, Scribble-pidinet随机性更高,Scribble-xdog可以很好的还原原图形状。
涂鸦上色,预处理器scribble_hed效果
# 直线检测
会依据线稿进行绘图。但这个模型只能识别直线,适合拿来做建筑和室内设计,看看预处理出来的图,都只有直线,有弧度的线条都会被忽略掉。
预处理器:mlsd
预处理器功能:提取建筑物的大致线稿(多为直线,没有曲线)。
直线检测,预处理器mlsd效果
当然,我们也可以使用这个用能,上传建筑图片。对建筑进行重新设计,甚至改变建筑风格:
04
空间控制
图片的空间控制主要用到了条件生图中的深度检测与语义分割。深度检测可以还原物品的先后关系;语义分割可以比较好的还原原图有的物品。
# 深度检测
会依据检测出的深度图进行绘图。它能够很好的展现空间的前后关系,适合用于室内设计,而且物品的距离镜头的前后顺序比较清晰。
预处理器:Depth-zoe(推荐), Depth-midas, Depth-leres++(推荐)
预处理器功能:生成图片的深度图。
深度检测,预处理器depth_leres++效果
# 语义分割
会依据标注的分割图进行精准控图。它可以识别图片各种物品,并用不同的颜色进行标注。
预处理器:seg_ofcoco,seg_ofade20k,seg_ufade20k
预处理器功能:生成图片的物品分割图
注意:推荐使用of开头的预处理器,coco代表coco数据集标记方法,ade20k也是一个标记方法。
语义分割,预处理器seg_ofade20k效果
05
风格控制
图片的风格控制可以用参考生图、风格迁移、局部修图、稳定像素、细节增强、光影控制、二维码控制到条件生图中的边缘检测、轮廓识别、线稿提取与线断识别。
# 参考生图
参考生图比之图生图,对出图效果的控制力更强。
使用参考生图需要希先在预处理器中进行选择,预处理器包括Reference adain、Reference only、Reference adain+attn,一般选择reference only,模型选择为none
权重调整可以控制参考生图的强度,一般权重调整为1,太高太低都会导致图片质量下降。
权重在条件生图中更为重要,使用多个条件生图组合时,需要调整权重占比,来对各种条件加以控制。
控制模式有“平衡”,“画面描述优先”,“controlnet优先”三种选项:
平衡:应用于采样步骤中的条件化和非条件化。这是标准的操作模式。
画面描述优先:最终效果是提示比参考生图具有更大的影响力。
ControlNet 更重要:最终效果是参考生图比提示词具有更大的影响力。
这与CFG Scale参数有相同的作用,CFG Scale的数值越大,我们所写的提示词的影响也就越大。
开始控制步数控制参考生图开始的时间,结束控制步数控制参考生图结束的时间。
开始控制步数为0,结束控制步数为1是什么意思?
它代表从点击生成图片的同时参考生图功能就开始影响作图,直到作图结束,参考生图影响也随之结束。
如果我们将开始控制步数调为1,结束控制步数调为0,则参考生图就不会介入,此功能相当于文生图。
风格保真度越高生成图片的风格保留也就越明显,但注意风格保真度只有在控制模式“平衡”状态才起作用。
参考生图相比图生图可以更好的还原人物的表情,姿势和其风格,当然前提是选择接近画风的主模型。
我们可以拿midjourney风格的图片再来测试一下:
室内设计也可以运用参考生图将风格进行迁移,左侧为原图,右侧是用参考生图生成,新效果图非常准确的实现了风格的迁移,并且在空间布局上也有着非常相近。
# 风格迁移
上传一张图片,即刻将该图片的画风转移到将要生成的图片上。
预处理器:shuffle
预处理器功能:将图片画风牢记
风格迁移,预处理器shuffle效果
用shuffle可能会影响原图的形状,可以稍微调整一下“开始控制步数”的参数设置在0.2~0.3之间就差不多,先生成出来大体的形状再去改变画风。
如果想改变现有图片的风格,可以使用两个条件生图:一个固定线稿,一个影响画风。
风格迁移控制风格
边缘检测控制形状
# 局部修图
可以修改上传图片的局部,并保持原图整体画面。比如说换头发颜色,能很好的保留头发的纹理细节。更换瞳孔颜色,不会改变瞳孔的位置,模特换衣服但不改变衣服褶皱等。
预处理器:inpaint_global_harmonious,inpaint_only
预处理器功能:
inpaint_global_harmonious是整张图进行重绘,重绘之后整体融合比较好,但是重绘之后的图片色调会改变。
inpaint_only只重绘涂红的地方。
局部修图,预处理器inpaint_only效果
# 稳定像素
可以给图片加特效。比如让房子变成冬天、让房子着火……
这里需要输入的关键词比较特殊,需要在关键词里面输入:make it.... (让它变成...)
比如让大厦着火,就输入:make it fire
稳定像素,“让大厦着火”效果
# 细节增强
细节增强可以在图像中添加、更改或重新生成图像详细信息,并且实现风格迁移;可以修复,优化和改善通过任何其他超分辨率方法获得的不良图像细节。其比较出名的玩法有,艺术字与光影等。
预处理器:tile_resample,tile_colorfix,tile_colorfix+sharp
预处理器功能:tile_resample,tile_colorfix,tile_colorfix+sharp
预处理器功能差别不大,一般建议使用tile_resample。
细节增强,预处理器tile_resample效果
# 光影控制
光影控制与其他条件生图不同,在界面上并没有预处理器,只有两个模型选择,分别是:
control_v1p_sd15_brightness,control_v1p_sd15_illumination。
一般会用control_v1p_sd15_brightness。
两者的区别在于:control_v1p_sd15_brightness较柔和,自然。
control_v1p_sd15_illumination光线强,较明亮。
control_v1p_sd15_brightness效果
control_v1p_sd15_illumination效果
光影控制的玩法多种多样,比如你可以用光影控制来将照片或者文字隐藏在图片中:
当然还可以直接将你想要的光线放入到光影控制中进行图片的生成:
在使用光影控制中时,权重建议0.4-0.65,这里数值越大,光线图案就会越明显,但相对的,光线和图片的融合度也会越差。
同时可以调整开始与结束控制步数,结束步数参数建议0.6-0.75,代表着条件生图什么时候停止介入,数值越大后面留给模型处理融合的时间就越少,融合度就会变差,数值越小模型介入过早就会破坏已有的结构导致光线无法出现。
# 二维码控制
创意二维码设计主要解决营销活动二维码问题。通过“二维码控制+光影控制”的联动,可以制作出富有创意的营销二维码。
# 其他
玩过“无界AI普通版-AI实验室”的小伙伴应该都有感触——算力有限,以至于使用ControlNet以后,画面效果、尤其是人物,不那么理想。
但这个问题,放在专业版中,就完全不是问题了!首先专业版可调取的算力非普通版可比。其次“控制模式”等功能还可以在细节方面进行调节。
不过以上都不算什么!除了创建工作流外,“条件生图”本身也支持多个模型的组合使用,从而对图像进行多条件控制。
点击上图绿框部分的“+”就可以增加ControlNet功能,在新的如“ControlNet1”功能中的“条件”选项下选择你需要的ControlNet功能如“二维码控制”,你就能在同一张作品中,分辨调制多项ControlNet功能。
分别控制人物和背景、给AI淘宝模特换装……能玩出啥花样,全看AI制图师的水平了!
局部重绘
图片重绘是指对整个图片进行重绘,但局部重绘是对你选中的位置重绘。实际的操作过程中,就是控制图片已经满意的一部分不作改变,抽卡不满意的部分。
如下图我们将图中的人与字进行涂抹,蒙版可以理解为蒙着一部分区域的版子,也就是我们用涂红的部分,选择一定的参数,并重新绘制这块区域,则可以实现去掉人物与字体。
上传参考图后,左侧会显示设置案件:
第一个为撤销箭头,点击一次撤销上一步;
第二个为全部撤销,点击一次撤销全部的涂抹;
第三个为画面移动,点击一次移动对画面进行移动;
第四个为画笔,滑条为画笔大小的控制,灵活使用它。
局部重绘涂覆的红色为蒙版,是透明的选区,而不是实际色块。涂覆蒙版的时候并不需要严格的精准(除非你想要改动部分与不变部分的区分非常精准,这种情况你应该使用上传蒙版),局部重绘会参考全图,涂覆到外部的内容不代表会被完全改变。相反,涂入一部分改动处以外的内容还有助于 A I 进行理解,增大重绘成图的融合度。
局部重绘的基本用法:上传图片-填写提示词-设定成图尺寸-涂上蒙版-修改重绘度和提示词→不断抽卡。
多区域控制绘图
多区域控制绘图是一个实用性非常强的功能,不管是进阶选手还是普通玩家,小编都实名强推!
从右边的参数上看,多区域控制绘图相比“文生图”多了一块“多区域控制绘图”选区。只要点击“当前无选区”那一行右侧的“+”你就可以开始定制选区。
每个选区都可以定制位置、大小,甚至对应的正负描述词。比如想画一幅“以大海和鸟为主题的图片”,只要线创建区域1,并设置为背景,输入描述次大海,再创建区域2,并设置为前景,输入描述次鸟,就可以轻松Get了!
多区域控制绘图效果
AI实验室
没错,专业版也有一个“AI实验室”,但功能要比普通版更加复杂。主要可以分为一镜到底、矢量图、分割一切以及视频生视频等4个功能。
1、一镜到底:可以实现无限缩放视频的扩展程序。上传一张图片,就可以创造一个无限缩放的视频,让观众感受到无穷无尽的奇妙世界。
2、矢量图:可以将上传的图片矢量化,矢量图放大后不会失真。
3、分割一切:可以用自动识别哪些图像像素属于一个对象,并且对图像中各个对象进行自动风格等,可广泛用于分析科学图像、编辑照片等。
4、视频生视频:可以将视频片段利用AI“重绘”成动画质感。除了二次元风格外,还可以生成其他不同风格的转绘。
顶部插件
顶部插件在画板的顶端,一共有五个插件:
分别为脸部修复、无损放大、表情修复、手部修复与超分辨,可以对图片细节进行修改:
你以为这就完了?
专业版的素材和玩法太过丰富,小编将在接下来逐步和大家分享更多干货,励志帮助更多玩家能够0成本进阶专业选手!
专业选手也不要着急,无界AI的“专业版工作流”玩法及广场,绝对是高端玩家和B端企业的福音!接下来,小编会不定期分享流行的玩法以及B端应用场景的优秀工作流,满足大家的创作及工作需求!
往期推荐
通用 · 加密艺术 | 1天365套加密艺术头像,成本缩减10000倍!
彩漫XL | 听得懂人话还能七十二变!无界首个基于SDXL的二次元模型上线!
人物配饰提示词 | 太时尚了!AI美女近期购物开箱分享