编辑模型训练
Kontext训练
kontext训练与常规LoRA训练的区别:
项目对比
训练原理
训练图片数量
适用场景
泛化能力
Lora
传统的低秩适应训练,主要学习视觉特征
一般需要50-100张或更多
风格迁移、人物/物体特征学习
在相似视觉特征下泛化能力强
KontextLora
基于上下文理解的训练方法,注重语义关联
通常20-50组即可获得良好效果
需要精确语义控制的创作场景,图像修改,局部迁移
在相似语义场景下泛化能力强
基础概念与架构
● 具体目标:基于提示词,生成原图对应的目标图
● Kontext LoRA:基于上下文感知的LoRA训练方法
● 核心思想:通过T(Text)和R(Reference)两个分支协同训练
● 训练目标:让模型学会根据文本描述和参考图像生成目标内容
- 与Flux Dev区别:
Flux Dev是文生图(提示词→目标图像),Kontext是图像转换(提示词+原图→目标图)
- 应用场景:图像编辑、风格转换、内容修改等
fluxlora
kontextlora
Flux.Kontext和Kontext.Fast的区别仅仅在于训练速度上有所区别,在消耗上,Kontext.Fast相对高于Flux.Kontext
数据集准备
图片筛选
● Kontext 训练数据集的图片必须是以两张图一组:每一组图片包含一张原始图,一张结果图,标注
● 图集数量:建议20-50组,最大上传限制为100组
● 图片选取:多类型原始图,带水印的图片需去除水印
如:转化成水墨风格,原始图选择可以写实风格,线稿风格,人,物体,风景都可以涵盖,以增加泛化性
图片标注
● 标注语言:建议使用英文标注,以避免翻译的误差
● 默认标注:在没有标注的情况下,可以填写。如果全部组完成标注则不需要填写
● 标注内容:
正确的标注,描述原始图和结果图的差异,仅需简单描述即可
正确示范:将图片转化成水墨风格;转化成鱼眼镜头;将角色变成一只猫
错误的标注方式,如普通的图片模型训练标注描述图片画面内容。
错误示范:一位身材苗条的年轻亚洲女性,留着一头乌黑的长发,身穿粉色背心和蓝色牛仔短裤,站在河边的绿色栏杆上,背景是一座桥。
上传数据集
Kontext.Fast上传数据集
● 数据集命名的格式: “文件名_start.png”,“文件名_end.png”,“文件名.txt“
● 未按固定格式命名,则需要手动匹配图片和重新打标
Flux.Kontext上传数据集
● 数据集命名的格式:ctrl0,target
● ctrl0,指初始图放置文件夹。target,指结果图和标签放置文件夹
● 注意:需要将ctrl0,targe两个文件夹一起压缩成数据集压缩包,才可以上传成功
● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png
● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt
注意:上传数据集方式Flux.Kontext与qwen image edit上传数据集的格式一样,上传压缩包
上传图片
● 点击上传图像,最大一次性上传50张,多出50张部分将无法上传成功。
● 选择所有图片上传,没有固定命名格式则会统一放入到匹配组的正下方的未匹配图像中。未匹配图像最多积累50张,手动将图片移动到对应的组内
参数设置
训练步数
● 训练步数优化:需要模型在各个图片都能展示出应有的效果,保持更好的泛化性。则需要更多的数据集图片,并且增加步数。
仅小范围特定使用,则选用较少的数据集图片并减少步数
● 推荐步数:默认为1500步,在20-50组数据集内,建议2000-4000步即可
训练轮次
● Times per Image Repeat:实际是按组的数量计算,每组训练次数
● Cycles Epoch:所有组按Times per Image Repeat的数量训练完一次,Cycles Epoch则为1。与图片训练的Epoch和Repeat概念一致
● 大多数情况使用默认参数训练即可,一般在组数较多的情况下,可以选择较少的Times per Image Repeat和Cycles Epoch
学习率
● 在20-50组数据集内,可直接使用默认学习率,图片组数越多,步数越多,同时希望模型稳定生效则提升学习率
默认标注
● 默认标注是指,在所有图片组或者个别图片组没有标注的情况下,能使用这个默认的标注来进行补全,以避免漏标
● 示例1:
Change the photo of green stalks with yellow bananas to black and white line drawings.
● 示例2:
Change the woman in the picture into a cat, keeping the background the same, the clothing and decorations the same
测试模型
模型保存
● 训练完成,仅产出1个模型。点击保存模型
测试方式
● 创作流测试
● 建议使用工作流测试。
● 测试参数设置:
Please select the LoRA name:选择所保存的模型
Please enter the model strength:模型权重,一般默认为1
Please enter the width:输出图片的宽
Please enter the height:输出图片的高
Please select an image:所需修改的图片
Please enter text:提示词,即与标注内容相似或相同的短句
Qwen-Image-Edit训练
项目对比
底层模型
核心功能
多图编辑
Kontext
FLUX.1
上下文感知的图像生成
1
Qwen-Image-Edit
Qwen-Image
图像编辑与理解
1
Qwen-Image-Edit-2509
Qwen-Image(升级版)
增强版图像编辑
1-3
数据集准备
图片筛选
● Qwen-Image-Edit训练数据集的图片必须是以两张图一组:每一组图片包含一张原始图,一张结果图,标注
● 图集数量:建议10-30组,最大上传限制为100组
● 图片选取:多类型原始图,带水印的图片需去除水印
如:转化成水墨风格,原始图选择可以写实风格,线稿风格,人,物体,风景都可以涵盖,以增加泛化性
图片标注
● 标注语言:建议使用英文标注,以避免翻译的误差
● 默认标注:在没有标注的情况下,可以填写。如果全部组完成标注则不需要填写
● 标注内容:
正确的标注,描述原始图和结果图的差异,仅需简单描述即可
正确示范:将图片转化成水墨风格;转化成鱼眼镜头;将角色变成一只猫
错误的标注方式,如普通的图片模型训练标注描述图片画面内容。
错误示范:一位身材苗条的年轻亚洲女性,留着一头乌黑的长发,身穿粉色背心和蓝色牛仔短裤,站在河边的绿色栏杆上,背景是一座桥。
● 图片的标注与Kontext数据集标注一致,唯一区别在于Qwen-Image-Edit可以支持中文标注
上传数据集
Qwen-Image-Edit 单图上传数据集方式
● 数据集命名的格式:ctrl0,target
● ctrl0,指初始图放置文件夹。target,指结果图和标签放置文件夹
● 注意:需要将ctrl0,targe两个文件夹一起压缩成数据集压缩包,才可以上传成功
● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png
● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt
Qwen-Image-Edit 2509 双图上传数据集方式
● 数据集命名的格式: ctrl0,ctrl1,target
● ctrl0,指初始图放置文件夹。ctrl1,指初始图2放置文件夹。target,指结果图和标签放置文件夹
● 注意:需要将ctrl0,ctrl1,target三个文件夹一起压缩成数据集压缩包,才可以上传成功
● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png
● ctrl1 里面的初始图命名方式为:1_1.png,2_1.png,3_1.png
● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt
● 先将组别图片数量选择为双图训练
在双图训练的组别下,选择 ctrl0,ctrl1,target三个文件夹压缩到一起的压缩包
即可完成数据集上传
Qwen-Image-Edit 2509 三图上传数据集方式
● 数据集命名的格式: ctrl0,ctrl1,ctrl2,target
● ctrl0,指初始图放置文件夹。ctrl1,指初始图2放置文件夹。ctrl2,指初始图3放置文件夹,target,指结果图和标签放置文件夹
● 注意:需要将ctrl0,ctrl1,ctrl2,target四个文件夹一起压缩成数据集压缩包,才可以上传成功
● ctrl0 里面的初始图命名方式为:1_0.png,2_0.png,3_0.png
● ctrl1 里面的初始图命名方式为:1_1.png,2_1.png,3_1.png
● ctrl2 里面的初始图命名方式为:1_2.png,2_2.png,3_2.png
● target 里面的结果图和标签命名方式为:1.png,1.txt,2.png,2.txt,3.png,3.txt
● 未按固定格式命名,则需要手动匹配图片和重新打标
上传图片
● 点击上传图像,最大一次性上传50张,多出50张部分将无法上传成功。
● 选择所有图片上传,没有固定命名格式则会统一放入到匹配组的正下方的未匹配图像中。未匹配图像最多积累50张,手动将图片移动到对应的组内
参数设置
训练轮次
● Times per Image Repeat:实际是按组的数量计算,每组训练次数
● Cycles Epoch:所有组按Times per Image Repeat的数量训练完一次,Cycles Epoch则为1。与图片训练的Epoch和Repeat概念一致
● 大多数情况使用默认参数训练即可,一般在组数较多的情况下,可以选择较少的Times per Image Repeat和Cycles Epoch
学习率
● 在20-50组数据集内,可直接使用默认学习率,图片组数越多,步数越多,同时希望模型稳定生效则提升学习率
默认标注
● 默认标注是指,在所有图片组或者个别图片组没有标注的情况下,能使用这个默认的标注来进行补全,以避免漏标
● 例如:已经遗漏组3的标注,但是我们已经设置了默认标注,则在开始训练时会自动将默认标注补充到组3的标注
模型效果预览原图
预览图使用初始图(有几张初始图就选几张初始图上传)
模型效果预览标注
预览标注与数据集的标注一致即可
完成所有设置点击开始训练即可(qwen image edit 与qwen image edit 2509 与flux.kontext 训练方式基本一致)
测试模型
模型保存
● 保存模型的数量是按照轮次计算,多少轮保存多少个模型,选择样图效果表现最好的即可,等模型完成同步即可进行测试
测试方式
● 建议使用工作流测试。
● qwen image edit Lora测试工作流
● 测试参数设置
Please select an image:输入需要编辑的图片
Please select the LoRA name:选择完成训练的Lora
Please enter the model strength:Lora的权重一般不需要改动
Please enter prompt:输入提示词(可以直接输入训练标签的提示词)
● qwen image edit 2509 Lora测试工作流(单图编辑测试)
● 测试参数设置
Please select an image:输入需要编辑的图片
Please select the LoRA name:选择完成训练的Lora
Please enter the model strength:Lora的权重一般不需要改动
Please enter prompt:输入提示词(可以直接输入训练标签的提示词)
● qwen image edit 2509 Lora测试工作流(双图编辑测试)
SeaArt AI AI | 双图编辑qwen edit 2509
● 测试参数设置
Please select an image:输入需要编辑的图片,(两张图片需要跟数据集的内容保持类型上的一致)
Please select the LoRA name:选择完成训练的Lora
Please enter the model strength:Lora的权重一般不需要改动
Please enter prompt:输入提示词(可以直接输入训练标签的提示词)
● qwen image edit 2509 Lora测试工作流(三图编辑测试)
SeaArt AI | Three image editor qwen edit 2509
● 测试参数设置
Please select an image:输入需要编辑的图片(三张图片需要跟数据集的内容保持类型上的一致)
Please select the LoRA name:选择完成训练的Lora
Please enter the model strength:Lora的权重一般不需要改动
Please enter prompt:输入提示词(可以直接输入训练标签的提示词)
Last updated