Stable Diffusion

演示反向提示词对图像生成的影响。

• 上: 无反向提示词
• 中: "绿树"
• 下: "圆形石头"

Stable Diffusion中的文生图采样脚本，称为"txt2img"，接受一个提示词，以及包括采样器（sampling type），图像尺寸，和随机种子的各种选项参数，并根据模型对提示的解释生成一个图像文档。[6] 生成的图像带有不可见的数字浮水印标签，以允许用户识别由Stable Diffusion生成的图像，[6]尽管如果图像被调整大小或旋转，该水印将失去其有效性。[14] Stable Diffusion模型是在由512×512分辨率图像组成的数据集上训练出来的，[6][15]这意味着txt2img生成图像的最佳配置也是以512×512的分辨率生成的，偏离这个大小会导致生成输出质量差。[13] Stable Diffusion 2.0版本后来引入了以768×768分辨率图像生成的能力。[16]

每一个txt2img的生成过程都会涉及到一个影响到生成图像的随机种子；用户可以选择随机化种子以探索不同生成结果，或者使用相同的种子来获得与之前生成的图像相同的结果。[13] 用户还可以调整采样迭代步数（inference steps）；较高的值需要较长的运行时间，但较小的值可能会导致视觉缺陷。[13] 另一个可配置的选项，即无分类指导比例值，允许用户调整提示词的相关性（classifier-free guidance scale value）；[17]更具实验性或创造性的用例可以选择较低的值，而旨在获得更具体输出的用例可以使用较高的值。[13]

反向提示词（negative prompt）是包含在Stable Diffusion的一些用户界面软件中的一个功能（包括StabilityAI自己的「Dreamstudio」云端软件即服务模式订阅制服务），它允许用户指定模型在图像生成过程中应该避免的提示，适用于由于用户提供的普通提示词，或者由于模型最初的训练，造成图像输出中出现不良的图像特征，例如畸形手脚。[12][18] 与使用强调符（emphasis marker）相比，使用反向提示词在降低生成不良的图像的频率方面具有高度统计显著的效果；强调符是另一种为提示的部分增加权重的方法，被一些Stable Diffusion的开源实现所利用，在关键词中加入括号以增加或减少强调。[19]

演示img2img修改

• 左: 最初用Stable Diffusion 1.5制作的图像
• 右: 用Stable Diffusion XL 1.0修改后的图像

Stable Diffusion包括另一个采样脚本，称为"img2img"，它接受一个提示词、现有图像的文档路径和0.0到1.0之间的去噪强度，并在原始图像的基础上产生一个新的图像，该图像也具有提示词中提供的元素；去噪强度表示添加到输出图像的噪声量，值越大，图像变化越多，但在语义上可能与提供的提示不一致。[6] 图像升频是img2img的一个潜在用例，除此之外。[6]

2022年11月24日发布的Stable Diffusion 2.0版本包含一个深度引导模型，称为"depth2img"，该模型推断所提供的输入图像的深度，并根据提示词​和深度信息生成新图像，在新图像中保持原始图像的连贯性和深度。[16]

Stable Diffusion模型的许多不同用户界面软件提供了通过img2img进行图生图的其他用例。内补绘制（inpainting）由用户提供的蒙版描绘的现有图像的一部分，根据所提供的提示词，用新生成的内容填充蒙版的空间。[12] 随着Stable Diffusion 2.0版本的发布，StabilityAI同时创建了一个专门针对内补绘制用例的专用模型。[16] 相反，外补绘制（outpainting）将图像扩展到其原始尺寸之外，用根据所提供的提示词生成的内容来填补以前的空白空间。[12]

在Stable Diffusion中使用img2img的内补绘制与外补绘制技术的演示

第一步： 使用txt2img生成新图像。巧合的是，它无意中生成了这个缺少一只手臂的人。

第二步： 通过外补绘制，图像底部被扩展了512像素，并被AI生成的内容所填充。

第三步： 在准备内补绘制时，使用GIMP中的画笔绘制了一个临时的手臂。

第四步： 在临时手臂上应用内补绘制蒙版，img2img生成一个新手臂，同时保持图像的其余部分保持不变。

为了纠正模型初始训练的局限性，终端用户可以选择实施额外的训练，以微调生成输出以匹配更具体的使用情况。有三种方法可以让用户对Stable Diffusion模型权重存盘点进行微调：

• 「嵌入」（Embedding）可以从用户提供的一些图像被训练出来，并允许模型在提示词​中使用嵌入的名称时生成视觉上相似的图像。[29]嵌入是基于2022年台拉维夫大学的研究人员在英伟达的支持下开发的「文本倒置」（Textual Inversion）概念，其中模型的文本编码器使用的特定标记的矢量表示与新的伪词相关联。嵌入可以用来减少原始模型中的偏差，或模仿风格。[30]
• 「超网络」（Hypernetwork）是NovelAI软件开发员Kurumuz在2021年创造的一种技术，最初用于调节文本生成的Transformer模型，它能让Stable Diffusion衍生的文生图模型​模仿各种特定艺术家的风格，无论原始模型​能否识别此艺术家，通过在较大的神经网络中的不同点应用一个预训练的小神经网络。超网络将文生图或图生图结果导向特定方向，例如加上艺术风格，当与一个较大的神经网络结合使用时。它通过寻找重要的关键区域来处理图像（例：眼睛，头发），然后在二级潜在空间中修补这些区域。超网络的一个缺点是它们的准确性相对较低，也有时会产生不可预知的结果。因此，超网络适用于加上视觉风格或清理人体瑕疵。[31]

演示Stable Diffusion的「超网络」（Hypernetwork）技术。

• DreamBooth是一个深度学习模型，由Google Research和波士顿大学的研究人员于2022年开发，可以微调模型以产生与指定主题相关的输出图像。[32]