SeaArt Guide
中文
中文
  • ✨SeaArt AI使用指南
  • ✨1-基础页面介绍
  • ✨2-基础功能操作
    • 2-1 文生图
    • 2-2 图生图
    • 2-3 条件生图
    • 2-4 高级画板
    • 2-5 ComfyUI
      • 文生图工作流
      • 图生图+局部重绘工作流
      • 核心节点
      • 小知识
    • 2-6 快捷AI
    • 2-7 风格训练(支持一键同款)
  • ✨3-进阶指南
    • 3-1 AI绘画基本原理
    • 3-2 LoRA训练详解
    • 3-3 ComfyUI 详解
      • 图片转绘
      • 重绘
    • 3-4 画板详解
  • ✨4-参数解释
    • 4-1 模型(Model)
    • 4-2 模式
    • 4-3 基础设置
    • 4-4 高级设置
    • 4-5 高级修复
  • ✨5-实际案例
    • 虚拟网红
    • LOGO 设计
    • 电商海报
  • ✨6-常驻活动
    • SeaArt.AI 创作者激励计划
    • "创作者激励计划"常见问题答疑(FAQ)
    • 高质量快应用推荐
    • 高质量模型推荐
    • 高质量工作流推荐
  • ✨7-常见问题(FAQ)
Powered by GitBook
On this page
  • 基础图生图
  • 局部重绘
  1. 2-基础功能操作
  2. 2-5 ComfyUI

图生图+局部重绘工作流

了解 ComfyUI 的图生图工作流程和四种强大的部分重绘方法:VAE 编码、潜空间重绘、ControlNet Inpaint 和 CLIPSeg。

Previous文生图工作流Next核心节点

Last updated 9 months ago

基础图生图

图生图可以在基础上进行调整,需要加入Load image和VAE Encode两个节点

因为输入的图像只是像素图像,不能直接放进潜空间,因此需要vae编码器对图片进行编码,让潜空间能够识别,这里的最终生成尺寸与原图一致

Empty Latent Image: 之前的文生图需要在空的噪点图降噪,然后生成新的图片,现在添加了图片,也就不需要这个空的噪点图了

操作流程:上传图片→选择模型→输入提示词→调整参数→创作

参数:

denoise:相当于重绘幅度,可以在0-1之间调整

使用图生图可以实现更换画风、添加细节、图像扩展、对图片高清修复等功能

图片预处理

通过添加不同的节点,对图片进行缩放或裁剪,也可以不添加

Upscale Image/Upscale Image By: 对图片进行缩放

ImageCrop: 对图片进行裁剪

局部重绘

四种方式:VAE Encode(for Inpainting)、Set Latent Noise Mask、ControINet Inpaint、Clip SEG

  1. VAE Encode (for Inpainting)

添加VAE Encode(for Inpainting),连接mask,右键单击图片,选择Open in MaskEditor绘制蒙版,如果对绘制的部分有问题,可以按住鼠标右键擦除

操作流程:选择与原图相近的模型,输入蒙版部分提示词

VAE Encode(for Inpainting):对原始蒙版部分不会做任何保留,相当于重新绘制,随机性比较大

  1. Set Latent Noise Mask

先将图片经过VAE编码变成潜空间能够识别的内容,再将蒙版部分变成噪波内容重新生成一次。

Set Latent Noise Mask:会参考原图进行重绘,能更好的理解生成的内容,生成错误图片的概率较低,适用微调,保持与原图的相似性

  1. ControlNet Inpaint

添加inpaint的控制网,控制网需要有模型以及对图片进行预处理

注意:图片需要添加VAE编码器进入潜空间

  1. CLIPSeg

输入提示词自动划分蒙版区域,代替手动涂抹蒙版,可以与Set Latent Noise Mask一起使用

参数:

text:输入想要重绘的地方

threshold: 识别内容的精细程度

dilation_factor: 识别内容的扩散程度

输出:

Heatmap Mask: 热度图

BW Mask: 灰度图

可以分别预览识别到的蒙版区域

四种重绘方式的区别:

  1. VAE Encode(for Inpainting):相当于清空再重绘制,随机性较大,适合无中生有

  2. Set Latent Noise Mask:会参考原图进行重绘,与原图会有一定相似性,适合用于微调

  3. ControINet Inpaint:相对比较稳定和精致

  4. Clipseg:自动识别蒙版区域,不需要手动涂抹,比较方便

✨
文生图
Image to image workflow - pre-processing Image
Partial Repainting workflow - draw a mask
Partial Repainting - CLIPSeg
Partial Repainting - Set Latent Noise Mask
Partial Repainting workflow - VAE Encode
Image to Image workflow panel
Partial Repainting - ControlNet Inpaint
Partial Repainting workflow - parameters panel