kontext Lora トレーニング

kontextトレーニングとLoRAトレーニングとの比較

基本概念と仕組み

● 具体的な目標：プロンプトに基づき、元画像に対応する目標画像を生成

● Kontext LoRA：コンテキスト認識に基づくLoRAトレーニング手法

● 核心的な考え：T（Text）とR（Reference）の2つの経路による協調トレーニング

● トレーニング目標：プロンプトと参照画像から目標画像を生成できるようモデルをトレーニング

- Flux Devとの違い：

Flux Devはテキストから画像生成（プロンプト→画像）、Kontextは画像変換（プロンプト＋元画像→目標画像）

- 応用：画像編集、スタイル変換、コンテンツ修正など

fluxlora

kontextlora

データセット準備

画像選別

● Kontext トレーニングデータセットの画像は必ず2枚1セット：各セットには初期画像1枚、結果画像1枚、タグ

● 画像セット数：推奨20-50セット、最大アップロード制限は100セット

● 画像選択：様々な種類の初期画像を用意（ウォーターマーク入りの画像は使用前に除去）

例：水墨風スタイルに変換する場合、初期画像はリアル風、線画風、人物、物体、風景など様々なものを含めて汎用性を高める

画像タグ付け

● タグ言語：翻訳の誤差を避けるため、英語でのタグ付けを推奨

● デフォルトタグ：タグがない場合に入力可能。すべてのセットにタグが完成している場合は入力不要

● タグ内容：

正しいタグ：元画像と結果画像の違いを記述、簡単な説明で十分

正しい例：画像を水墨風スタイルに変換する；魚眼レンズに変換する；キャラクターを猫に変える

誤った例：スリムな若いアジア人女性が、黒い長髪で、ピンクのタンクトップと青いデニムショートパンツを着て、川沿いの緑色の手すりに立っており、背景には橋がある

データセットのアップロード

データセットのアップロード

● データセットの命名規則： 「ファイル名_start.png」「ファイル名_end.png」「ファイル名.txt」

● 規則外の場合：手動で画像マッチングとタグ付けが必要

画像アップロード

● すべての画像をアップロードし、順番に各セットに入れます。元画像と結果画像が正しく対応していない場合は、手動で画像を適切なセットに移動させる必要があります

パラメータ設定

トレーニングステップ数

● トレーニングステップ数最適化：モデルがすべての画像で期待される効果を示し、より良い汎用性を維持するためには、データセットの画像数を増やし、学習ステップ数も増やす必要があります

特定の小範囲での使用のみであれば、少ないデータセット画像と少ないステップ数を選択

● 推奨ステップ数：デフォルトは1500ステップ、20-50セットのデータセット内では、2000-5000ステップを推奨

学習率

● 20-50セットのデータセット内では、デフォルトの学習率を直接使用可能。画像グループ数が多く、ステップ数も多く、かつモデルの安定した効果を望む場合は、学習率を上げることをお勧めします

デフォルトタグ

● デフォルトタグとは、すべての画像セットまたは一部の画像セットにタグがない場合に、このデフォルトタグを使用して補完し、タグ漏れを防ぐこと

● 例1：

Change the photo of green stalks with yellow bananas to black and white line drawings.

●例2：

Change the woman in the picture into a cat, keeping the background the same, the clothing and decorations the same

テストモデル

モデル保存

● トレーニング完了後、1つのモデルのみ生成されます。クリックしてモデルを保存しましょう

テスト方法

● ワークフローでのテストを推奨

https://www.seaart.ai/workFlowAppDetail/d1rqh8u6sm8c73e739sg

● テストパラメータ設定：

Please select the LoRA name：保存したモデルを選択

Please enter the model strength：モデルの重み、通常デフォルトは1

Please enter the width：出力画像の幅

Please enter the height：出力画像の高さ

Please select an image:修正したい画像

Please enter text：プロンプト、タグ内容と類似または同じ短文