中文

图生图+局部重绘工作流

了解 ComfyUI 的图生图工作流程和四种强大的部分重绘方法：VAE 编码、潜空间重绘、ControlNet Inpaint 和 CLIPSeg。

基础图生图

图生图可以在文生图基础上进行调整，需要加入Load image和VAE Encode两个节点

因为输入的图像只是像素图像，不能直接放进潜空间，因此需要vae编码器对图片进行编码，让潜空间能够识别，这里的最终生成尺寸与原图一致

Empty Latent Image: 之前的文生图需要在空的噪点图降噪，然后生成新的图片，现在添加了图片，也就不需要这个空的噪点图了

操作流程：上传图片→选择模型→输入提示词→调整参数→创作

参数：

denoise：相当于重绘幅度，可以在0-1之间调整

使用图生图可以实现更换画风、添加细节、图像扩展、对图片高清修复等功能

图片预处理

通过添加不同的节点，对图片进行缩放或裁剪，也可以不添加

Upscale Image/Upscale Image By: 对图片进行缩放

ImageCrop: 对图片进行裁剪

局部重绘

四种方式：VAE Encode（for Inpainting）、Set Latent Noise Mask、ControINet Inpaint、Clip SEG

  1. VAE Encode (for Inpainting)

添加VAE Encode（for Inpainting），连接mask，右键单击图片，选择Open in MaskEditor绘制蒙版，如果对绘制的部分有问题，可以按住鼠标右键擦除

操作流程：选择与原图相近的模型，输入蒙版部分提示词

VAE Encode（for Inpainting）：对原始蒙版部分不会做任何保留，相当于重新绘制，随机性比较大

  1. Set Latent Noise Mask

先将图片经过VAE编码变成潜空间能够识别的内容，再将蒙版部分变成噪波内容重新生成一次。

Set Latent Noise Mask：会参考原图进行重绘，能更好的理解生成的内容，生成错误图片的概率较低，适用微调，保持与原图的相似性

  1. ControlNet Inpaint

添加inpaint的控制网，控制网需要有模型以及对图片进行预处理

注意：图片需要添加VAE编码器进入潜空间

  1. CLIPSeg

输入提示词自动划分蒙版区域，代替手动涂抹蒙版，可以与Set Latent Noise Mask一起使用

参数：

text：输入想要重绘的地方

threshold: 识别内容的精细程度

dilation_factor: 识别内容的扩散程度

输出：

Heatmap Mask: 热度图

BW Mask: 灰度图

可以分别预览识别到的蒙版区域

四种重绘方式的区别：

  1. VAE Encode（for Inpainting）：相当于清空再重绘制，随机性较大，适合无中生有

  2. Set Latent Noise Mask：会参考原图进行重绘，与原图会有一定相似性，适合用于微调

  3. ControINet Inpaint：相对比较稳定和精致

  4. Clipseg：自动识别蒙版区域，不需要手动涂抹，比较方便

Previous文生图工作流Next核心节点

Last updated