html网站开发心得体会,检察院门户网站建设成效,做网站好找工作吗,提供东莞微信网站建设前言
Stable Diffusion web ui#xff0c;除了依靠文生图#xff08;即靠提示词生成图片#xff09;#xff0c;图生图#xff08;即靠图片提示词生成图片#xff09;外#xff0c;这两种方式还不能满足我们所有的绘图需求#xff0c;于是就有了 Embeddings#xff0…前言
Stable Diffusion web ui除了依靠文生图即靠提示词生成图片图生图即靠图片提示词生成图片外这两种方式还不能满足我们所有的绘图需求于是就有了 Embeddings词嵌入、LoRa低秩适应模型、Hypernetwork超网络。
Embeddings模型 模型非常小常常用于放在反向提示词里让图像不出现生么当然也可与用于正向提示词生成我们想要的LoRa模型 模型几十到几百MB更多用于画特定人物比如游戏/动漫的人物。平台上lora模型比较多。Hypernetwork模型 大小和作用都和LoRa模型差不多平台上Hypernetwork模型比较少。 你只需要在提示词词使用Embeddings词嵌入、LoRa低秩适应模型、Hypernetwork超网络的标签。
Embeddings词嵌入
概念
Embeddings中文翻译为嵌入的在Stable Diffusion中被称为词嵌入嵌入式向量这些向量可以捕捉文本中的语义信息并在其中映射特定风格特征的信息。Embeddings一般保存的信息量相对较小对人物的还原、对动作的指定、对画风的指定效果一般。除此之外它还有另外一个名字Textual Inversion文本反置、文本倒置。它的模型被成为嵌入式模型、反置/倒置模型 。 Embeddings在Stable Diffusion模型中又被称作嵌入式向量。它可以将文本编码器TextEncoder的输入例如提示词转换成电脑可以识别的文本向量并在其中映射特定风格特征的信息。Embeddings模型和VAE模型一样后缀格式是.pt。大小仅为几kb到几十kb之间。Embeddings和checkpoint模型和lora模型比它内部不包含图片信息只是一些电脑可以识别图片的文本向量。举个比喻如果把checkpoint模型比作一本大词典的话Embeddings就是这本大词典中一些特定词的标签它能精准的指向个别字词的含义从而提共一个高效的索引。 比如我们像要画一个明星但是checkpoint模型没有该明星名字对应的图片信息这是我就可以用该明星的Embeddings模型生成这个明星的图片了这里你可以Embeddings模型理解为包含这个明星的五官面部、身体特征的嵌入式向量。使用EmbeddingsStable Diffusion就更容易理解我们画的明星长什么样子了
使用
我们在模型下载网站上下载我们想要的Embeddings模型(国内liblib网站)。 然后放到SD WEB UI根目录下的embeddings文件夹内。然后在SD WEB UI页面点击刷新按钮加载出来我们下载的Embeddings模型然后点击Embeddings模型会自动出现在提示词输入框。默认会在正向提示词输入框内但是当鼠标光标在反向提示词框内时会出现在反向提示词框。 这里的Embeddings模型也可以用提示词语法圆括号和冒号来调整权重系数。
LoRa低秩适应模型
概念
Stable Diffusion Lora模型是一种通过低秩适应大型语言模型的方法。其核心思想是将原始的大型参数矩阵分解成两个或者多个低秩矩阵并且只更新其中的一部分从而减少计算量和存储需求提高训练效率和模型性能。Lora的作用在于帮助你向AI传递描述某一个特征明确主体清晰的形象。
使用
我们在模型下载网站liblib.ai上下载我们想要的lora模型。Lora模型需要放在 SD WEB UI根目录下的models\Lora文件夹内,大小一般为几十MB到几百MB。然后和嵌入式模型操作一样先刷新在网页上加载出lora模型然后点击lora到提示词输入框。 这里和嵌入式模型用法不同的是lora模型需要加括号。格式 lora:模型名:权重权重为1的时候可以不写 lora:模型名lora的权重建议设置在0.6左右因为lora的权重越高其他提示词的作用就越小lora的权重过低生成的图片又不像lora的训练的人物模样。当然lora的权重的最佳值还跟你选择checkpoint模型有关相同的lora搭配不同的checkpoint模型生图的效果也有很大差别。经过我自己的大量测试lora的权重建议设置在0.6左右搭配大多数checkpoint模型都会有不错的效果。 值得注意的是有些lora模型需要搭配触发提示词才能发挥lora的效果。
Hypernetwork超网络
概念
Stable Diffusion Hypernetwork是一种神经网络架构它允许动态生成神经网络的参数权重。在Stable Diffusion中Hypernetwork被用于动态生成分类器的参数为Stable Diffusion模型添加了随机性减少了参数量并能够引入side information来辅助特定任务这使得该模型具有更强的通用性和概括能力。
Hypernetwork的重要功能之一是对画面风格的转换即切换不同的画风。它的特点在于能够生成多种画风的作品同时能够保证画面的稳定性和清晰度。
使用
我们在模型下载网站liblib.ai上下载我们想要的lora模型。Hypernetwork模型需要放在 SD WEB UI根目录下的models\hypernetworks文件夹内,大小和lora模型差不多一般为几十MB到几百MB。
hypernetworks模型的使用方法和lora模型一样不同的是lora:模型名替换成了hypernet:模型名。格式 hypernet:模型名:权重 可以看出除了Embeddings模型的使用不需要尖括号外hypernetworks模型和lora模型的使用都需要尖括号说明hypernetworks模型和lora模型都是类似的都是需要图片训练的模型的中包含大量图片信息而Embeddings模型只是简单的文本标记向量。
LoRA和Hypernetwork的区别 LoRA和Hypernetwork都是机器学习领域中比较前沿的技术但是它们的作用有所不同。LoRA是一种图像风格转换模型它可以将一张图片从一种风格转换成另一种风格实现艺术风格迁移等功能。而Hypernetwork是一种模型生成技术它的作用是学习从一个低维空间的潜在表示到一个高维空间的输出的映射函数。这种方法的主要目的是提供更加一般性和灵活性的模型生成能力从而可以用更少的参数生成效果更好的模型。两种方法都有各自的优点和限制需要根据具体任务的需求来选择相应的方法。 LoRA模型被广泛应用在图像处理领域有很多应用场景比如图像风格转换、艺术化渲染等等。同时LoRA模型模型能够使用预训练权重因此在实际应用中获取高质量的样本比较容易并且由于LoRA的模型架构相对简单因此训练比较容易实现。因此很多人在图像处理领域中应用LoRA模型来处理图像使得网上关于LoRA模型的文章和论文比较多。 而Hypernetwork模型则相对较新目前应用还较为局限。它的一个重要应用方向是用于神经网络架构搜索可以快速搜索到高效的网络结构。但是这种方法的难度比较大需要大量的计算资源和专业知识以及较长的时间进行调试和优化。因此Hypernetwork模型的文章和论文相对比较少目前还没有被大规模应用到实际的项目中。