SeaArt Guide
中文
中文
  • ✨SeaArt AI使用指南
  • ✨1-基础页面介绍
  • ✨2-基础功能操作
    • 2-1 文生图
    • 2-2 图生图
    • 2-3 条件生图
    • 2-4 高级画板
    • 2-5 ComfyUI
      • 文生图工作流
      • 图生图+局部重绘工作流
      • 核心节点
      • 小知识
    • 2-6 快捷AI
    • 2-7 风格训练(支持一键同款)
  • ✨3-进阶指南
    • 3-1 AI绘画基本原理
    • 3-2 LoRA训练详解
    • 3-3 ComfyUI 详解
      • 图片转绘
      • 重绘
    • 3-4 画板详解
  • ✨4-参数解释
    • 4-1 模型(Model)
    • 4-2 模式
    • 4-3 基础设置
    • 4-4 高级设置
    • 4-5 高级修复
  • ✨5-实际案例
    • 虚拟网红
    • LOGO 设计
    • 电商海报
  • ✨6-常驻活动
    • SeaArt.AI 创作者激励计划
    • "创作者激励计划"常见问题答疑(FAQ)
    • 高质量快应用推荐
    • 高质量模型推荐
    • 高质量工作流推荐
  • ✨7-常见问题(FAQ)
Powered by GitBook
On this page
  • 第一步:搭建模型组
  • 第二步:参考原图
  • 第三步:高清修复
  1. 3-进阶指南
  2. 3-3 ComfyUI 详解

图片转绘

掌握ComfyUI的图像转绘!本指南通过控制网、面部参考和高清升级来增强图生图的功能。

Previous3-3 ComfyUI 详解Next重绘

Last updated 9 months ago

确定思路:

Comfyui的图片转绘与webui图生图一样,都是上传原图后,通过修改模型改变原图的画风,但为了提高转绘的精确度,我们可以在中间加上几个新步骤:

  1. 添加模型放大节点,控制原始图像的大小

  2. 增加与原图的相似性

a. 利用ipadapter faceid参考脸部

b. 反推原图提示词

c. 添加控制网(openpose、canny、depth)

  1. 添加高清修复,让最终成图更清晰

第一步:搭建模型组

我们可以在图生图模板基础上开始搭建,首先选择性的在原始图像后方添加图像放大:Upscale Image By节点,用来控制原始图像的大小

lora根据自己需求添加,也可以不添加

也可以再添加一个CLIP Set Last Layer节点,跳过层级,最后将对应节点连上

新增节点:

Upscale Image By

CLIP Set Last Layer

第二步:参考原图

(反推提示词+Ipadapter+控制网)

  1. 反推提示词:WD14 Tagger节点

双击搜索添加WD14 Tagger节点

连接image节点

右键单击正面提示词节点,选择“Convert text to input”,将WD14 Tagger连接在正面提示词上

但这只包含了图片的提示词信息,如果想添加其他提示词

则需要新建一个Text Concatenate节点,可以将多段提示词连接在一起

再新建一个元点节点Primitive,元点节点Primitive可以连接在任意节点上,变成相关属性

在Primitive上输入想额外添加的提示词,例如lora触发词,一些质量词等

这时的提示词不仅包括根据图片反推得到的提示词,还有我们输入的提示词

  1. 接下来搭建IPadapter faceID,用来参考脸部特征

双击搜索IPadapter FaceID,将输入端的节点一一对应

拖出节点后新建:

ipadapter→ IPAdapter Model Loader

clip_vision→ Load CLIP Vision

insightface→ IPAdapter InsightFace Loader

Connect the output to the sampler.

新建节点:

IPadapter FaceID

IPAdapter Model Loader

Load CLIP Vision

IPAdapter InsightFace Loader

  1. 搭建控制网

推荐使用CR Multi-ControlNet Stack节点,可以在上面添加多个控制网

之后再添加对应的预处理器,这里推荐使用openpose、canny、depth这三个控制网,可以根据最终画面添加或者删除

之后在输出端添加控制网应用节点:CR Apply multi-ControlNet

推荐将预处理器处的分辨率设置为1024

*最后记得将需要用到的控制网的开关打开

输入端:与正负面提示词相连接

输出端:与采样器相连接

新建节点:

CR Multi-ControlNet Stack

CR Apply Multi-ControlNet

第三步:高清修复

前面已经搭建了模型组和参考原图

在最后输出图片这一步我们可以新增图片高清修复:Upscale Image(using Model)

新增节点: Upscale Image (using Model)

节点搭建完毕后,可以搭建组将节点整理一下,方便查看

最后需要根据出图调整相应参数,比如大模型、lora权重、提示词、采样器、重绘幅度等等

本次转绘重要参数:

CLIP _layer:-2

Upscale Image By: 1.5

steps: 40

sampler_name: dpmpp_2m

scheduler: karras

denoise: 0.7

可以根据最终出图结果调整部分参数

注意:如果你选择的是sdxl模型,也需要对应sdxl的lora,以及将控制网模型调整为sdxl,否则会出图失败

以上就是图片转绘的一个完整工作流,在这个基础上你也可以添加vae或FreeU_V2来调整最终图像FreeU_V2:主要是对色彩的控制,然后抽取部分内容然后优化

Load VAE:对画面色彩及细节进行微调

通过这样一个工作流,你可以实现不同风格的转换

✨
ComfyUI Image Conversion - Build the Model Group
ComfyUI Image Conversion - Set up the IPadapter FaceID to Reference Facial Features
ComfyUI Image Conversion - BReverse-engineer Prompts: WD14 Tagger Node 1
ComfyUI Image Conversion - Set up the ControlNet
ComfyUI Image Conversion - BReverse-engineer Prompts: WD14 Tagger Node 3
ComfyUI Image Conversion - Add Nodes to Upscale Image 1
ComfyUI Image Conversion - High-Definition Restoration
ComfyUI Image Conversion - Add Nodes to Upscale Image 2
ComfyUI Image Conversion - Corresponding SDXL Lora
ComfyUI Image Conversion - Adjust Image with VAE or FreeU_V2
ComfyUI Image Conversion - BReverse-engineer Prompts: WD14 Tagger Node 2