CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解（Reference篇） 从理论到实践 PART.Ⅲ

Reference

ControlNet中的Reference模型是一种预处理器，可以根据导入的素材图片，根据图片的配色、色调、画风、画中的事物，创建出新图片，使画中事物仍然存在多样性差异。这个模型在涂鸦或线稿生成等场景中应用较广，能产生与参考图风格类似但细节不同、元素多样的图片。

在具体使用过程中，如果希望得到风格完全和参考图一致的图像，只需要让“完美匹配像素”的选项被选中即可；而如果希望得到的图像风格与参考图有所区别，那么就可以通过适当调整“Style Fidelity”滑动条的值来实现，其参考值越少，生成的图片风格和参考图的差异就越大，反之亦然。另外，在绘制SD基本参数时，不能勾选“高分辨率修复”，否则ControlNet的Reference处理将会失效。

ControlNet的Reference模型提供以下几个预处理器：

·reference_adain

（官方文档无相关具体介绍）

它可能用于在进行参考图像处理时，利用 AdaIN (Adaptive Instance Normalization) 机制，实现风格迁移网络(Style Transfer)等类似任务。 AdaIN 是一种用于图像样式迁移的方法，它通过将内容图像的条件概率分布与样式图像的边缘概率分布相匹配，实现将样式图像的风格应用于内容图像。这种机制可以帮助模型更好地实现图像样式的迁移和转换。

·reference_adain+attn

ControlNet中Reference模型的Reference_adain+attn预处理器是一种高级的预处理器，用于在基于图像的生成模型（如DALL-E等）中实现精细的图像控制。它通过将输入图像的参考部分进行高级特征转换，来生成具有参考特征的新图像。这种预处理器能帮助模型在风格迁移、跨域生成等任务中取得更好的效果

·reference_only

ControlNet的Reference_only预处理器是一个功能，允许用户在给定参考图像的情况下生成新的图像。这个预处理器主要应用于根据图生图的场景，基本上保留原图的风格，但只有一张图或者图很少的情况。这个方法对于懒于进行复杂操作或没有时间进行大量训练的用户来说是很有用的。

·【reference_adain】、【reference_adain+attn】和【reference_only】的区别

• 【reference_adain】是一种运用 AdaIN 风格的搬迁算法，它能够使生成的图像更接近模型，对颜色和脸型的改变特别明显，更侧重于任何二次元风格。
• 【reference_only】则是允许用户在给定参考图像的情况下生成新的图像，基本上保留原图的风格，这种方法对于懒于进行复杂操作或没有时间进行大量训练的用户来说是很有用的。
• ControlNet中Reference模型的Reference_adain+attn预处理器是一种高级的预处理器，用于在基于图像的生成模型（如DALL-E等）中实现精细的图像控制。它通过将输入图像的参考部分进行高级特征转换，来生成具有参考特征的新图像。这种预处理器能帮助模型在风格迁移、跨域生成等任务中取得更好的效果