CONTROLNET V1.1.410 Stable Diffusion WebUI版本——控制类型详解（Inpaint篇） 从理论到实践 PART.Ⅲ

局部重绘（Inpaint）

ControlNet中的局部重绘（Inpaint）模型主要用于图像修复和插值生成，通过将输入的提示词元素与原始图像进行混合，能够更好地预测图像的重绘细节。

这个模型可以在局部区域进行重绘，比如遮罩部分，并且可以加入ControlNet的控制，让inpaint模型能够更加准确地预测重绘的细节。与传统的图生图方法相比，ControlNet的局部重绘模型可以更好地将重绘区域与整体画面融合，从而让整体图像看起来更加和谐统一。此外，通过使用ControlNet模型，还可以通过调节权重，控制遮罩以外的地方发生微小变化，以实现更好的整体效果。这个模型在图像修复、插值生成等领域有着广泛的应用前景。

使用画笔在需要局部重绘的地方涂抹，点击生成，我们会得到以下图片：

ControlNet的局部重绘（Inpaint）模型提供以下几个预处理器：

·inpaint_global_harmonious

ControlNet中的inpaint_global_harmonious预处理器在图像处理中发挥了重要的作用。它主要通过引入一种全局和谐性的概念，对图像的各个部分进行有机的整合和修复，使得生成的图像具有更高的美学价值和视觉效果。

具体而言，inpaint_global_harmonious预处理器在应用时，会对原始图像进行分析，并利用ControlNet的控制信息，对图像中的缺失或损坏部分进行填充和修复。在修复过程中，它不仅考虑到了图像的局部特征，还充分考虑了全局的和谐性，将图像的各个部分有机地结合在一起，使得生成的图像具有更好的整体效果。

相比传统的图像修复方法，inpaint_global_harmonious预处理器具有更好的全局视野和修复效果。它能够将图像中的各个部分作为一个整体来考虑，从而避免了传统方法中可能出现的一些问题，如修复区域与周围环境的冲突和不协调等。

·inpaint_only

ControlNet中的Inpaint模型的Inpaint-Only预处理器是一种类似于Firefly Generative Fill的模型工作流，它可以在不需要任何提示的情况下，直接享受高品质的Inpaint。它使用LAMA预处理器处理输入的图像，然后将处理后的图像由编码器混合到Stable Diffusion的初始噪声中，以指导生成Inpaint的最终结果。该模型可产生与Inpaint-Only相似但更为“干净”一点的结果，表现为不那么复杂，更一致，随机对象更少等特点，因而适用于图像重绘或对象移除等任务中。

·inpaint_only+lama

ControlNet中的Inpaint模型的Inpaint+LAMA预处理器结合了自动填充（Automaic1111）的上采样设计理念，使用超分辨率GANs处理图像，然后使用Stable Diffusion生成最终的图像。这种预处理器的工作流程如下：输入的图像首先会被LAMA模型处理，之后将LAMA模型的输出图像与原始图像的编码版本混合，得到混合噪声。这种混合噪声将作为Stable Diffusion模型的输入，引导其生成最终的图像。因此，Inpaint+LAMA预处理器能够通过引导Stable Diffusion模型产生更多细节，来改善Inpaint模型的结果，从而产生更丰富、更高质量的结果。

·【inpaint_global_harmonious】、【inpaint_only】和【inpaint_only+lama】的区别

相比传统的图像修复方法，inpaint_global_harmonious预处理器具有更好的全局视野和修复效果。它能够将图像中的各个部分作为一个整体来考虑，从而避免了传统方法中可能出现的一些问题，如修复区域与周围环境的冲突和不协调等。

【inpaint_only】是Inpaint模型的一个版本，它只使用Inpaint模型进行图像处理。这种模型在处理图像时，会尽可能地保留图像的原始特征和细节，但同时也可能会产生一些随机对象，导致图像不够稳定。

【inpaint_only+lama】是Inpaint模型的另一种版本，它结合了Inpaint模型和LAMA预处理器进行图像处理。这种模型在处理图像时，会先使用LAMA预处理器对图像进行处理，然后再使用Inpaint模型进行填充。这种方法可以减少随机对象，提高图像的稳定性。