part1 初步介绍ControlNet的原理、功能

大家好！欢迎大家收看我们Stable Diffusion从入门到精通系列教程 第11节，我们接下来的目标是实现一个视频转动漫风格的转换。

因此我们要正式讲这个ControlNet了，之前已经把基础环境搭建，和普通的插件的安装方法给大家演示了，如果还不知道的小伙伴 可以进我们主页的播放列表哦。

以前SD出图，基本上天马行空，基本不太可控。自从有了ControlNet，使得SD变得越来越可控了。 基本可以按照我们预想的方式生产图片了。

我们现在就直接来讲一下这个ControlNet，然后这一期视频是我们ControlNet系列的第一期。

好 ，那么我们废话不多说，马上开始今天的内容。

说到这个ControlNet，还是要提出三个灵魂的拷问！

那么，作为我们这个跳跃性教学的”无厘头”大师

首先回答第一个问题（ControlNet是什么）：

controlnet是条件生成对抗神经网络的一种，就是通过额外的输入来控制预训练的大模型（比如Stable Diffusion）。这个本质其实就是端对端的训练，简单来说part2 ControlNet的安装和基本使用：它解决了文生图大模型的关键问题：单纯的关键词控制方式无法满足对细节精确控制的需要。所以通过一个或多个参考图，来使 AI 生成的尽可能符合我们要求的图片。有了它的帮助，就不用频繁用提示词来碰运气抽卡式创作了。

第二个问题（ControlNet到底能做什么）：

通过ControlNet的边缘检测模型或线稿模型提取线稿，再根据提示词和风格模型对图像进行着色和风格化。这使得用户可以通过ControlNet精准地控制AI图像的生成，例如上传线稿让AI帮忙填色渲染，或者控制人物的姿态、图片生成线稿等等。因此，ControlNet可以被广泛应用于各种需要精细控制图像生成的场景，如艺术设计、插图制作、广告设计等等。

part2 ControlNet的安装和基本使用

【首先controlnet的安装】

controlnet的安装步骤：启动SD（网址： http://127.0.0.1:7860）→点击“拓展”→点击“可用”→点击“加载”→搜索“Controlnet”→重启界面

【检查control是否安装好】

方法一：已安装界面出现controlnet的版本信息

方法二：文生图界面出现Controlnet的一栏

【Controlnet模型下载】

步骤：打开作者主页（网址：https://huggingface.co/lllyasviel）→点击需要下载的模型界面→点击“Files and versions”下载→把下载好的文件放置于保存的SD-Webui/extensions/SD-webui-controlnet/models目录文件夹中

【Controlnet初阶使用】

步骤：将选择好的引导图拖拽入Controlnet的图片上传处→点击下方的启用；若显存低于6g，则选择低缓存；勾选预览和像素完美→controlnet的类型，可以初步选择openpose（姿态控制），点击旁边类似于小爆炸的图标

本期所写的提示词（可复制）：

(masterpiece, best quality:1. 4), solo, outdoor, lake,sunnyday, yoga pose,Palms pressed together, (tight yoga pants, white yoga pants:1. 4), (realistic, hyperrealistic:1. 4), 4k hdr,

(worst quality, low quality, normal quality:1.4), lowres, bad anatomy, ((bad hands)), text, error, missing fingers, extra digit, fewer digits,head out of frame, cropped, letterboxed, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, censored, letterbox, blurry, monochrome, fused clothes, nail polish, boring, extra legs, fused legs, missing legs, missing arms, extra arms, fused arms, missing limbs, mutated limbs, dead eyes, empty eyes, 2girls, multiple girls, 1boy, 2boys, multiple boys, multiple views, jpeg artifacts, text, signature, watermark, artist name, logo, low res background, low quality background, missing background, white background

【没有合适姿势引导图片的解决方案】

方法一：自己摆pose拍照，让Controlnet识别

方法二：编辑右边的图形，使用Openpose Editor

方法三：第三方网站（网址：https://app.posemy.art/)截选3D人形，直接生成openpose

part3 结尾

可能是因为我讲得太详细了，所以这一集的时间有点长。那接下来呢，我们会详细介绍关于controlnet的type，比如openpose、canny、depth等等。敬请期待哦！

本集视频链接在此

B站：https://www.bilibili.com/video/BV1934y137r4/?vd_source=fd71a56a302c7c126eec926428cd1acc