图片转绘

掌握ComfyUI的图像转绘!本指南通过控制网、面部参考和高清升级来增强图生图的功能。

确定思路:

Comfyui的图片转绘与webui图生图一样,都是上传原图后,通过修改模型改变原图的画风,但为了提高转绘的精确度,我们可以在中间加上几个新步骤:

  1. 添加模型放大节点,控制原始图像的大小

  2. 增加与原图的相似性

a. 利用ipadapter faceid参考脸部

b. 反推原图提示词

c. 添加控制网(openpose、canny、depth)

  1. 添加高清修复,让最终成图更清晰

第一步:搭建模型组

我们可以在图生图模板基础上开始搭建,首先选择性的在原始图像后方添加图像放大:Upscale Image By节点,用来控制原始图像的大小

lora根据自己需求添加,也可以不添加

也可以再添加一个CLIP Set Last Layer节点,跳过层级,最后将对应节点连上

新增节点:

Upscale Image By

CLIP Set Last Layer

第二步:参考原图

(反推提示词+Ipadapter+控制网)

  1. 反推提示词:WD14 Tagger节点

双击搜索添加WD14 Tagger节点

连接image节点

右键单击正面提示词节点,选择“Convert text to input”,将WD14 Tagger连接在正面提示词上

但这只包含了图片的提示词信息,如果想添加其他提示词

则需要新建一个Text Concatenate节点,可以将多段提示词连接在一起

再新建一个元点节点Primitive,元点节点Primitive可以连接在任意节点上,变成相关属性

在Primitive上输入想额外添加的提示词,例如lora触发词,一些质量词等

这时的提示词不仅包括根据图片反推得到的提示词,还有我们输入的提示词

  1. 接下来搭建IPadapter faceID,用来参考脸部特征

双击搜索IPadapter FaceID,将输入端的节点一一对应

拖出节点后新建:

ipadapter→ IPAdapter Model Loader

clip_vision→ Load CLIP Vision

insightface→ IPAdapter InsightFace Loader

Connect the output to the sampler.

新建节点:

IPadapter FaceID

IPAdapter Model Loader

Load CLIP Vision

IPAdapter InsightFace Loader

  1. 搭建控制网

推荐使用CR Multi-ControlNet Stack节点,可以在上面添加多个控制网

之后再添加对应的预处理器,这里推荐使用openpose、canny、depth这三个控制网,可以根据最终画面添加或者删除

之后在输出端添加控制网应用节点:CR Apply multi-ControlNet

推荐将预处理器处的分辨率设置为1024

*最后记得将需要用到的控制网的开关打开

输入端:与正负面提示词相连接

输出端:与采样器相连接

新建节点:

CR Multi-ControlNet Stack

CR Apply Multi-ControlNet

第三步:高清修复

前面已经搭建了模型组和参考原图

在最后输出图片这一步我们可以新增图片高清修复:Upscale Image(using Model)

新增节点: Upscale Image (using Model)

节点搭建完毕后,可以搭建组将节点整理一下,方便查看

最后需要根据出图调整相应参数,比如大模型、lora权重、提示词、采样器、重绘幅度等等

本次转绘重要参数:

CLIP _layer:-2

Upscale Image By: 1.5

steps: 40

sampler_name: dpmpp_2m

scheduler: karras

denoise: 0.7

可以根据最终出图结果调整部分参数

注意:如果你选择的是sdxl模型,也需要对应sdxl的lora,以及将控制网模型调整为sdxl,否则会出图失败

以上就是图片转绘的一个完整工作流,在这个基础上你也可以添加vae或FreeU_V2来调整最终图像FreeU_V2:主要是对色彩的控制,然后抽取部分内容然后优化

Load VAE:对画面色彩及细节进行微调

通过这样一个工作流,你可以实现不同风格的转换

Last updated