有关网站建设新闻资讯,wordpress 取消七牛,备案号网站下边,公众号助手app下载2023年的2月13日#xff0c;一款名叫ControlNet的插件横空出世#xff0c;AI绘画变得更加可控
ControlNet直译过来很简单#xff0c;就叫做控制网#xff0c;开发者是一名华裔#xff0c;毕业于苏州大学#xff0c;目前在斯坦福做读博士一年级#xff0c;大佬大佬…2023年的2月13日一款名叫ControlNet的插件横空出世AI绘画变得更加可控
ControlNet直译过来很简单就叫做控制网开发者是一名华裔毕业于苏州大学目前在斯坦福做读博士一年级大佬大佬
在controlNet之前基于扩散模型的绘画是极为难控制的平时自嗨画画其实没有一点问题随机就随机一点但是对于一些特定要求的岗位的同学来说这种抽卡式缺乏稳定性的模型很难真正提高效率。
1 ControlNet的作用结构
根据一些额外信息控制扩散生成走向业内人士称为微调通俗点说就是大模型你不是随机吗那我给你一些指引信息让你乖乖听话朝着我期望的方向走
这时候有好奇的小伙伴就要问到了那他和图生图有什么区别吗我直接输入图片不也可以达到同样的效果吗其实从某种意义上来说是的但我举如下一个例子你就明白了
比如我现在要生成一个有着特定姿势的图片我固然可以通过一张自己期待的姿势的图片输入模型可能会了解到这个姿势但与此同时这种图片除了姿势的其他信息如画面颜色风格人物特征也会被网络捕获到因而就可能会产生意外的化学反应但是用ControlNet可以提取人体关键点如下图这样的话模型只会了解到纯粹的需要生成的姿势而不会混杂其他信息可控性就会增强了
2 ControlNet的安装和使用
ControlNet本质是一个插件所以类似于之前插件的安装看之前的这篇插件安装的文章
不同于一些插件ControlNet还需要搭配不同的模型来使用来实现特定的功能
最推荐的安装方式是将ControlNet的扩展文件夹放在根目录下的extensions文件夹内可以省下很多麻烦
然后在扩展选单里重新加载WebUI 界面就可以在文生图和图生图里面看到了
下载一个ControlNet模型一般是pth和yaml文件之后移动到ControlNet的扩展文件夹中
3 基本使用方式
点开ControlNet控制网。输入一张图片我们在这里期望输出的图片模仿我们输入图片的姿势
2023年的2月13日一款名叫ControlNet的插件横空出世AI绘画变得更加可控
ControlNet直译过来很简单就叫做控制网开发者是一名华裔毕业于苏州大学目前在斯坦福做读博士一年级大佬大佬
在controlNet之前基于扩散模型的绘画是极为难控制的平时自嗨画画其实没有一点问题随机就随机一点但是对于一些特定要求的岗位的同学来说这种抽卡式缺乏稳定性的模型很难真正提高效率。
1 ControlNet的作用结构
根据一些额外信息控制扩散生成走向业内人士称为微调通俗点说就是大模型你不是随机吗那我给你一些指引信息让你乖乖听话朝着我期望的方向走
这时候有好奇的小伙伴就要问到了那他和图生图有什么区别吗我直接输入图片不也可以达到同样的效果吗其实从某种意义上来说是的但我举如下一个例子你就明白了
比如我现在要生成一个有着特定姿势的图片我固然可以通过一张自己期待的姿势的图片输入模型可能会了解到这个姿势但与此同时这种图片除了姿势的其他信息如画面颜色风格人物特征也会被网络捕获到因而就可能会产生意外的化学反应但是用ControlNet可以提取人体关键点如下图这样的话模型只会了解到纯粹的需要生成的姿势而不会混杂其他信息可控性就会增强了
2 ControlNet的安装和使用
ControlNet本质是一个插件所以类似于之前插件的安装看之前的这篇插件安装的文章
不同于一些插件ControlNet还需要搭配不同的模型来使用来实现特定的功能
最推荐的安装方式是将ControlNet的扩展文件夹放在根目录下的extensions文件夹内可以省下很多麻烦
然后在扩展选单里重新加载WebUI 界面就可以在文生图和图生图里面看到了
下载一个ControlNet模型一般是pth和yaml文件之后移动到ControlNet的扩展文件夹中
3 基本使用方式
点开ControlNet控制网。输入一张图片我们在这里期望输出的图片模仿我们输入图片的姿势 我们从网上找一张 图片上传
选择预处理器OpenPose就是提取姿势的并选择相应的模型 其他参数先维持不变
加入我们期望的场景提示词如在森林里 1 cute girl, forest, smile, SFW, (masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2) 生成
更改一下提示词 1 cute girl, city, smile, SFW, (masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2) 可以看出姿势完全不变
同时它还会附加给我们一张骨骼图
3.1 参数详解
Control Weight
决定这个控制效应在图片中呈现出来的强度维持默认1不变
Starting Control step
ending Control step
什么时候加入ControlNet影响默认的0到1表示全程生效缩短影响可以赋予图像更多的自由度
ControlMode
提示词影响和ControlNet之间倾向于哪一个一般维持默认Balanced即可二者兼顾
核心就是控制强弱
缩放模式
会在导入图片和你生成图片分辨率不匹配的时候起作用
3.2 代表性ControlNet模型应用
3.2.1 Open Pose姿态
上面讲到的只是OpenPose的基本的身体整体骨骼的刻画
选择不同的预处理器可以获得对手部脸部更精确的刻画 比如我们使用openpose_face,可以看到获得了更精细的脸部特征骨骼图 3.2.2 Depth 深度
适合富有空间感的多层次场景
3.2.3 canny 边缘检测
通过边缘来进行绘画输出超级强大
比如我们这里用Canny检测器可以生成几乎一模一样的 可以实现线稿上色
