编辑模型训练

Kontext训练

kontext训练与常规LoRA训练的区别:

项目对比

训练原理

训练图片数量

适用场景

泛化能力

Lora

传统的低秩适应训练,主要学习视觉特征

一般需要50-100张或更多

风格迁移、人物/物体特征学习

在相似视觉特征下泛化能力强

KontextLora

基于上下文理解的训练方法,注重语义关联

通常20-50组即可获得良好效果

需要精确语义控制的创作场景,图像修改,局部迁移

在相似语义场景下泛化能力强

基础概念与架构

● 具体目标:基于提示词,生成原图对应的目标图

● Kontext LoRA:基于上下文感知的LoRA训练方法

● 核心思想:通过T(Text)和R(Reference)两个分支协同训练

● 训练目标:让模型学会根据文本描述和参考图像生成目标内容

- 与Flux Dev区别:

Flux Dev是文生图(提示词→目标图像),Kontext是图像转换(提示词+原图→目标图)

- 应用场景:图像编辑、风格转换、内容修改等

fluxlora

kontextlora

Flux.Kontext和Kontext.Fast的区别仅仅在于训练速度上有所区别,在消耗上,Kontext.Fast相对高于Flux.Kontext

数据集准备

图片筛选

● Kontext 训练数据集的图片必须是以两张图一组:每一组图片包含一张原始图,一张结果图,标注

● 图集数量:建议20-50组,最大上传限制为100组

● 图片选取:多类型原始图,带水印的图片需去除水印

如:转化成水墨风格,原始图选择可以写实风格,线稿风格,人,物体,风景都可以涵盖,以增加泛化性

图片标注

● 标注语言:建议使用英文标注,以避免翻译的误差

● 默认标注:在没有标注的情况下,可以填写。如果全部组完成标注则不需要填写

● 标注内容:

正确的标注,描述原始图和结果图的差异,仅需简单描述即可

正确示范:将图片转化成水墨风格;转化成鱼眼镜头;将角色变成一只猫

错误的标注方式,如普通的图片模型训练标注描述图片画面内容。

错误示范:一位身材苗条的年轻亚洲女性,留着一头乌黑的长发,身穿粉色背心和蓝色牛仔短裤,站在河边的绿色栏杆上,背景是一座桥。

上传数据集

Kontext.Fast上传数据集

● 数据集命名的格式: “文件名_start.png”,“文件名_end.png”,“文件名.txt“

● 未按固定格式命名,则需要手动匹配图片和重新打标

Flux.Kontext上传数据集

● 数据集命名的格式:ctrl0,target

● ctrl0,指初始图放置文件夹。target,指结果图和标签放置文件夹

● 注意:需要将ctrl0,targe两个文件夹一起压缩成数据集压缩包,才可以上传成功

● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png

● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt

注意:上传数据集方式Flux.Kontext与qwen image edit上传数据集的格式一样,上传压缩包

上传图片

● 点击上传图像,最大一次性上传50张,多出50张部分将无法上传成功。

● 选择所有图片上传,没有固定命名格式则会统一放入到匹配组的正下方的未匹配图像中。未匹配图像最多积累50张,手动将图片移动到对应的组内

参数设置

训练步数

● 训练步数优化:需要模型在各个图片都能展示出应有的效果,保持更好的泛化性。则需要更多的数据集图片,并且增加步数。

仅小范围特定使用,则选用较少的数据集图片并减少步数

● 推荐步数:默认为1500步,在20-50组数据集内,建议2000-4000步即可

训练轮次

● Times per Image Repeat:实际是按组的数量计算,每组训练次数

● Cycles Epoch:所有组按Times per Image Repeat的数量训练完一次,Cycles Epoch则为1。与图片训练的Epoch和Repeat概念一致

● 大多数情况使用默认参数训练即可,一般在组数较多的情况下,可以选择较少的Times per Image Repeat和Cycles Epoch

学习率

● 在20-50组数据集内,可直接使用默认学习率,图片组数越多,步数越多,同时希望模型稳定生效则提升学习率

默认标注

● 默认标注是指,在所有图片组或者个别图片组没有标注的情况下,能使用这个默认的标注来进行补全,以避免漏标

● 示例1:

Change the photo of green stalks with yellow bananas to black and white line drawings.

● 示例2:

Change the woman in the picture into a cat, keeping the background the same, the clothing and decorations the same

测试模型

模型保存

● 训练完成,仅产出1个模型。点击保存模型

测试方式

● 创作流测试

● 建议使用工作流测试。

SeaArt AI | kontextarrow-up-right

● 测试参数设置:

Please select the LoRA name:选择所保存的模型

Please enter the model strength:模型权重,一般默认为1

Please enter the width:输出图片的宽

Please enter the height:输出图片的高

Please select an image:所需修改的图片

Please enter text:提示词,即与标注内容相似或相同的短句

Qwen-Image-Edit训练

项目对比

底层模型

核心功能

多图编辑

Kontext

FLUX.1

上下文感知的图像生成

1

Qwen-Image-Edit

Qwen-Image

图像编辑与理解

1

Qwen-Image-Edit-2509

Qwen-Image(升级版)

增强版图像编辑

1-3

数据集准备

图片筛选

● Qwen-Image-Edit训练数据集的图片必须是以两张图一组:每一组图片包含一张原始图,一张结果图,标注

● 图集数量:建议10-30组,最大上传限制为100组

● 图片选取:多类型原始图,带水印的图片需去除水印

如:转化成水墨风格,原始图选择可以写实风格,线稿风格,人,物体,风景都可以涵盖,以增加泛化性

图片标注

● 标注语言:建议使用英文标注,以避免翻译的误差

● 默认标注:在没有标注的情况下,可以填写。如果全部组完成标注则不需要填写

● 标注内容:

正确的标注,描述原始图和结果图的差异,仅需简单描述即可

正确示范:将图片转化成水墨风格;转化成鱼眼镜头;将角色变成一只猫

错误的标注方式,如普通的图片模型训练标注描述图片画面内容。

错误示范:一位身材苗条的年轻亚洲女性,留着一头乌黑的长发,身穿粉色背心和蓝色牛仔短裤,站在河边的绿色栏杆上,背景是一座桥。

● 图片的标注与Kontext数据集标注一致,唯一区别在于Qwen-Image-Edit可以支持中文标注

上传数据集

Qwen-Image-Edit 单图上传数据集方式

● 数据集命名的格式:ctrl0,target

● ctrl0,指初始图放置文件夹。target,指结果图和标签放置文件夹

● 注意:需要将ctrl0,targe两个文件夹一起压缩成数据集压缩包,才可以上传成功

● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png

● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt

Qwen-Image-Edit 2509 双图上传数据集方式

● 数据集命名的格式: ctrl0,ctrl1,target

● ctrl0,指初始图放置文件夹。ctrl1,指初始图2放置文件夹。target,指结果图和标签放置文件夹

● 注意:需要将ctrl0,ctrl1,target三个文件夹一起压缩成数据集压缩包,才可以上传成功

● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png

● ctrl1 里面的初始图命名方式为:1_1.png,2_1.png,3_1.png

● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt

● 先将组别图片数量选择为双图训练

在双图训练的组别下,选择 ctrl0,ctrl1,target三个文件夹压缩到一起的压缩包

即可完成数据集上传

Qwen-Image-Edit 2509 三图上传数据集方式

● 数据集命名的格式: ctrl0,ctrl1,ctrl2,target

● ctrl0,指初始图放置文件夹。ctrl1,指初始图2放置文件夹。ctrl2,指初始图3放置文件夹,target,指结果图和标签放置文件夹

● 注意:需要将ctrl0,ctrl1,ctrl2,target四个文件夹一起压缩成数据集压缩包,才可以上传成功

● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png

● ctrl1 里面的初始图命名方式为:1_1.png,2_1.png,3_1.png

● ctrl2 里面的初始图命名方式为:1_2.png,2_2.png,3_2.png

● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt

● 未按固定格式命名,则需要手动匹配图片和重新打标

上传图片

● 点击上传图像,最大一次性上传50张,多出50张部分将无法上传成功。

● 选择所有图片上传,没有固定命名格式则会统一放入到匹配组的正下方的未匹配图像中。未匹配图像最多积累50张,手动将图片移动到对应的组内

参数设置

训练轮次

● Times per Image Repeat:实际是按组的数量计算,每组训练次数

● Cycles Epoch:所有组按Times per Image Repeat的数量训练完一次,Cycles Epoch则为1。与图片训练的Epoch和Repeat概念一致

● 大多数情况使用默认参数训练即可,一般在组数较多的情况下,可以选择较少的Times per Image Repeat和Cycles Epoch

学习率

● 在20-50组数据集内,可直接使用默认学习率,图片组数越多,步数越多,同时希望模型稳定生效则提升学习率

默认标注

● 默认标注是指,在所有图片组或者个别图片组没有标注的情况下,能使用这个默认的标注来进行补全,以避免漏标

● 例如:已经遗漏组3的标注,但是我们已经设置了默认标注,则在开始训练时会自动将默认标注补充到组3的标注

模型效果预览原图

预览图使用初始图(有几张初始图就选几张初始图上传)

模型效果预览标注

预览标注与数据集的标注一致即可

完成所有设置点击开始训练即可(qwen image edit 与qwen image edit 2509 与flux.kontext 训练方式基本一致)

测试模型

模型保存

● 保存模型的数量是按照轮次计算,多少轮保存多少个模型,选择样图效果表现最好的即可,等模型完成同步即可进行测试

测试方式

● 建议使用工作流测试。

● qwen image edit Lora测试工作流

SeaArt AI | qwen editarrow-up-right

● 测试参数设置

Please select an image:输入需要编辑的图片

Please select the LoRA name:选择完成训练的Lora

Please enter the model strength:Lora的权重一般不需要改动

Please enter prompt:输入提示词(可以直接输入训练标签的提示词)

● qwen image edit 2509 Lora测试工作流(单图编辑测试)

SeaArt AI AI | Qwen Edit 2509arrow-up-right

● 测试参数设置

Please select an image:输入需要编辑的图片

Please select the LoRA name:选择完成训练的Lora

Please enter the model strength:Lora的权重一般不需要改动

Please enter prompt:输入提示词(可以直接输入训练标签的提示词)

● qwen image edit 2509 Lora测试工作流(双图编辑测试)

SeaArt AI AI | 双图编辑qwen edit 2509arrow-up-right

● 测试参数设置

Please select an image:输入需要编辑的图片,(两张图片需要跟数据集的内容保持类型上的一致)

Please select the LoRA name:选择完成训练的Lora

Please enter the model strength:Lora的权重一般不需要改动

Please enter prompt:输入提示词(可以直接输入训练标签的提示词)

● qwen image edit 2509 Lora测试工作流(三图编辑测试)

SeaArt AI | Three image editor qwen edit 2509arrow-up-right

● 测试参数设置

Please select an image:输入需要编辑的图片(三张图片需要跟数据集的内容保持类型上的一致)

Please select the LoRA name:选择完成训练的Lora

Please enter the model strength:Lora的权重一般不需要改动

Please enter prompt:输入提示词(可以直接输入训练标签的提示词)

Last updated