> For the complete documentation index, see [llms.txt](https://docs.seaart.ai/guide-1/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.seaart.ai/guide-1/ja/advanced-guide/lora-training/video-training.md).

# 動画トレーニング

少数の動画クリップから、動きや視覚効果を学習する動画LoRAをトレーニングします。

このガイドでは、動画の準備、動きの説明、トレーニング設定、Wan2.1・Hunyuan・Wan2.2モデルのテスト方法を解説します。

### 動画トレーニングの種類とおすすめモデル <a href="#video-training--video-training-type-recommendation" id="video-training--video-training-type-recommendation"></a>

<table><thead><tr><th width="240">種類</th><th>モデル</th></tr></thead><tbody><tr><td>t2v（テキストから動画）</td><td>wan2.2 t2v 720p</td></tr><tr><td>i2v（画像から動画）</td><td>wan2.2 i2v 480p</td></tr><tr><td>r2v（参照素材から動画）</td><td>minimax h3</td></tr></tbody></table>

***

### Wan2.1・Hunyuanの動画LoRAトレーニング <a href="#video-training--wan2-1-hunyuan-video-lora-training" id="video-training--wan2-1-hunyuan-video-lora-training"></a>

まず、動画クリップの準備とタグ付けを行います。ここでは、共通の準備手順、Wan2.1のトレーニング設定、Wan2.1とHunyuanのテスト方法を説明します。

#### 動画の前処理 <a href="#video-training--preprocessing-videos" id="video-training--preprocessing-videos"></a>

**トレーニング用動画の選び方**

* 学習させたい動きやエフェクトが共通しており、被写体が異なる動画を用意します。動画を中心に使用し、画像は補助素材として使ってください。
* 画質が鮮明で、透かしのない動画を選びます。

**動画の本数**

* 4～10本で十分です。画像だけを使ったトレーニングはおすすめしません。

**フレームレート**

* 動画を16fps、合計81フレーム、約5秒に調整します。編集ツールで動画を5秒にカットしてから、16fpsでフレームを抽出できます。
* 5秒未満の動画は、そのままの長さで使用できます。2秒や3秒でも構いませんが、必ず16fpsに調整してください。

**解像度**

* 480p程度で十分です。トレーニングを速くするには、320pに下げることもできます。解像度が高すぎると、トレーニングが失敗します。

**動画のタグ付け**

* 自動タグ付けを使用できます。ただし、自動注釈はおすすめしません。

<figure><img src="https://1032308035-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FBZCjgc8P9tA3CJw4NnIH%2Fuploads%2FtYNnjvGhNGEeZkIlYLuy%2F1.webp?alt=media&amp;token=2e4bb7db-ef83-422e-bfcb-f26fb14bcd71" alt=""><figcaption></figcaption></figure>

* 手動でタグ付けすることもできます。
* ポイントは、補足的な特徴と主要な特徴を組み合わせて説明することです。
* **主要な特徴：** 学習させたい動きやエフェクトです。**補足的な特徴：** 動画内の人物、場所、行動などです。

> **例：**
>
> 動画には、<mark style="background-color:orange;">黒いフォーマルスーツを着た女性</mark>が映っています。女性は手を上げ、笑顔で色とりどりの紙吹雪をまいてお祝いします。その後、ビキニ姿になり、「b1k1n1 bikini up」エフェクトが現れます。<mark style="background-color:orange;">女性はお祝いを続け、「b1k1n1 bikini up」エフェクトをさらに見せます。</mark>

前半では動画の内容を説明し、後半では学習させたい動きやエフェクトをまとめています。学習対象となる動きやエフェクトが主要な特徴で、それ以外の説明が補足的な特徴です。

#### オンライントレーニングのパラメータ設定 <a href="#video-training--online-parameter-settings" id="video-training--online-parameter-settings"></a>

**画像から動画**

* Wan2.1-14B-480PまたはWan2.1-14B-720Pを選択します。主にトレーニング用動画の解像度に合わせて選んでください。
* 素材が216 × 320など、480p未満の場合は480pモデルを選択します。720pと480pではトレーニング結果に大きな差がないため、まずは480pから始めることをおすすめします。

| 解像度  | 画像サイズ      | 総画素数   |
| ---- | ---------- | ------ |
| 480p | 854 × 480  | 約41万画素 |
| 720p | 1280 × 720 | 約92万画素 |

データセットのアップロードを完了します。

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FEdoMYQeDrctZ249dYRwl%2FFinish%20uploading%20the%20dataset..png?alt=media&#x26;token=a2ed99ec-39be-4361-88c4-ec45e240db56" alt=""><figcaption></figcaption></figure>

**パラメータ設定**

* **フレーム抽出数：** 1つの動画セグメントから抽出するフレーム数です。推奨値は17です。
* **例：** 16フレームのセグメントに対して9を設定すると、すべてのフレームを取り込めません。
* **分割数：** 1本の動画をいくつのセグメントに分けるかを設定します。推奨値は5です。
* **例：** 16fpsの5秒動画では、5分割すると1セグメントあたり16フレーム、4分割すると20フレームになります。
* **画像ごとの繰り返し回数：** 各動画を何回トレーニングに使用するかを設定します。
* **エポック数：** 「画像ごとの繰り返し回数」で指定した処理を、全体で何周繰り返すかを設定します。
* **モデル効果プレビュー用プロンプト：** サンプル動画の生成に使用するプロンプトです。データセットのタグと開始フレームの内容を組み合わせて調整します。
* **開始フレーム：** 画像から動画を生成する際に入力する画像です。サンプル動画の生成にも使用します。

<div align="left"><figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FRMt8hlkLROZimjwjFJP9%2F469c2b08-9bf8-4c38-b051-19a6a9488fd2.png?alt=media&#x26;token=812b9e3a-70e8-4803-8a2b-26e0b4c7120d" alt=""><figcaption></figcaption></figure></div>

<div align="left"><figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FlpMMsSI3hcpR60a9W4Wa%2F6d39dcfb-f072-46c6-8cc8-976784fd6e59.png?alt=media&#x26;token=f7dc4b95-df78-4d40-9508-f6d13bd9f3b6" alt="" width="360"><figcaption></figcaption></figure></div>

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FHlg3mFJncHLiFZPMToeB%2F42035a33-bf25-4274-96f7-6bf89303b548.png?alt=media&#x26;token=8eaa2d98-0159-415b-bd44-cbbb3129a20a" alt=""><figcaption><p>パラメータ設定</p></figcaption></figure>

#### 詳細パラメータ設定 <a href="#video-training--advanced-parameter-settings" id="video-training--advanced-parameter-settings"></a>

変更が必要なのは、**Flow Shift**だけです。

<mark style="color:$danger;">720pでは5、480pでは3に設定します。480pを選択する場合は、素材も480pにしてください。</mark>

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2F1oS0U5Scp3wUhZSOvuZ3%2F9531a336-dcfb-488f-9e7c-0256c350a0f2.png?alt=media&#x26;token=0011d320-8900-4cae-a77d-3b5a82492058" alt=""><figcaption></figcaption></figure>

### Wan2.1のテスト <a href="#video-training--wan2-1-testing" id="video-training--wan2-1-testing"></a>

**画像から動画のテスト**

ワークフロー：

アプリでのテスト：[SeaArt AI | Wanxiang Guanliu](https://www.seaart.ai/ja/app/d1e017de878c73eofvrg)

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FftxtiEEz5rPcSdkPYlDV%2F5b53299b-31f5-47ea-b017-fe0fa1937475.png?alt=media&#x26;token=a7cab98c-96db-4564-a833-5e04516233ec" alt=""><figcaption></figcaption></figure>

**パラメータ設定：**

* **モデル選択：** トレーニングに使用したモデルと同じモデルを選択します。
* **LoRA選択：** 自分のモデルに保存したLoRAを選択します。
* **ウェイト：** LoRAの適用度を設定します。
* **幅：** 圧縮・トリミング後の入力画像の幅です。
* **高さ：** 圧縮・トリミング後の入力画像の高さです。
* **フレーム数：** 出力動画の総フレーム数です。4 × n + 1の形式で指定します。5秒の場合は81フレームです。
* **Shift：** 720pでは5、480pでは3に設定します。
* **CFG：** 初期値は6です。5に調整することもできます。

**テキストから動画のテスト**

Wanのワークフローでテストします。

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2F1ZYNWiNufeS95mfa2hEz%2F5459ab85-5918-4d66-859e-36f26b485dd2.png?alt=media&#x26;token=ac2a20be-487b-493b-974d-ff27941bba0c" alt=""><figcaption></figcaption></figure>

[RedCraft Models as a Service H3 GS - SeaArt AI Model](https://www.seaart.ai/ja/models/detail/e68fd840d50f39999fb5aa4d93cf5bf0)

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FGT4IgdJMhHQjsTPO8NIR%2F9d15b098-9af9-4ba9-91e7-726d2afe723d.png?alt=media&#x26;token=0094ec0f-08db-45ce-8bf9-5229c9a81ae7" alt=""><figcaption></figcaption></figure>

1. **Model**で**wan2.1**を選択します。
2. **Additional**で、トレーニング後に保存したモデルを選択します。
3. **text to video**を選択します。

### Hunyuan LoRAのテスト

Hunyuanのワークフローと、以下のモデルページを使ってテストします。

[Hunyuan Video (Safetensors) - New Decensored Llama - SeaArt AI Model](https://www.seaart.ai/ja/models/detail/1dcfcdecf715bfe5146cb50a857e16aa)

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2F3Ut6crZT2BRRemmEmzvh%2Fed8af635-9e5b-45e7-938f-73c7f1c4f8ab.png?alt=media&#x26;token=51515e18-162a-4b76-993e-307aacf1d0d5" alt=""><figcaption></figcaption></figure>

1. **Model**を**Hunyuan Video**に設定します。
2. **Additional**で、トレーニング後に保存したモデルを選択します。
3. **text to video**を選択します。

### Wan2.2の動画LoRAトレーニング <a href="#video-training--wan2-2-video-lora-training" id="video-training--wan2-2-video-lora-training"></a>

**動画を準備する**

<mark style="background-color:red;">Wan2.1と同じ手順で準備します。</mark>

動画クリップを4～10本用意し、16fpsに調整します。長さとフレーム数は前述の目安に従い、解像度は480p程度、または320pに下げて使用してください。動画の本数、長さ、フレームレート、解像度の条件はWan2.1と同じです。

**高ノイズモデルと低ノイズモデルを選ぶ**

各動画生成タイプには、2種類のモデルがあります。

* **テキストから動画：** `wan2.2 t2v-low`と`wan2.2 t2v-high`
* **画像から動画：** `wan2.2 i2v-low`と`wan2.2 i2v-high`

Wan2.1とは異なり、Wan2.2では各動画生成タイプに高ノイズモデルと低ノイズモデルが用意されています。高ノイズモデルは主に動きを、低ノイズモデルは主に映像の細部を制御します。

トレーニング時間をできるだけ短くしたい場合は、低ノイズモデルだけをトレーニングすると、基本的な効果をより短時間で得られます。最良の結果を目指す場合は、同じデータセットを使って高ノイズモデルと低ノイズモデルを個別にトレーニングし、動画生成時に両方のLoRAを読み込んでください。

Wan2.2は言語理解力が高いため、動画の注釈はシンプルで統一された表現にできます。ただし、適切な説明の詳しさは、テキストから動画を生成する場合と画像から動画を生成する場合で異なります。詳しくは以下を参照してください。

#### トレーニングの種類に合わせて動画にタグ付けする

**テキストから動画：内容を明確に説明する**

テキストから動画を生成するトレーニングでは、自動タグ付けを使用できます。

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FcHjUByEewT148d9ebCR1%2Fautomatic%20tagging%20for%20text-to-video%20training.png?alt=media&#x26;token=72626a8c-bcde-46bc-b64b-8aea09764846" alt=""><figcaption></figcaption></figure>

手動でタグ付けする場合は、動画の内容を明確に説明してください。「人物」「動物」といった曖昧な言葉だけで説明を済ませないようにしましょう。

**画像から動画：エフェクトを簡潔で統一された表現で説明する**

この場合、自動タグ付けはおすすめしません。データセットに含まれる動画が比較的少ない一方で、自動タグ付けは細部まで説明しすぎる傾向があります。Wan2.2では、このような詳細なタグを使うと、後でLoRAを使用する際のプロンプトが複雑になりやすくなります。

手動でタグ付けする際、すべての動画に人物が映っている場合は、簡潔な説明で十分です。

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FwYt8pjNQUNbonzxEpU1Q%2F886fccca-57a6-45bf-bf88-630ae9b08655.gif?alt=media&#x26;token=15a29603-784c-40cb-bc18-0bdc7dec3a07" alt=""><figcaption></figcaption></figure>

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FLZahCkXbw35frkipUCip%2F9172477e-5d29-494b-8e42-f33416e364e6.png?alt=media&#x26;token=0b93df1e-5e2b-4fbf-8e16-10a5d0b4c2a4" alt=""><figcaption></figcaption></figure>

たとえば、このガイドで紹介している変身は、次のように説明できます。

> <mark style="background-color:yellow;">人物の頭がカボチャに変わり、その後、その人物がローブを身にまといます。ハロウィンの背景には、カボチャのランタン、コウモリ、月が描かれています。</mark>

人物の年齢や性別を指定する必要はありません。被写体は「人物（a person）」と一般的に表現し、変身の内容を正確かつ統一された表現で説明してください。その文章をほかの動画のタグにもコピーできます。

#### Wan2.2のトレーニングパラメータを設定する

動画セグメントの抽出、トレーニング素材の繰り返し、プレビュー生成には、以下の設定を使用します。

**フレーム抽出数**

各セグメント内で抽出するフレーム数です。推奨値は**17**です。16フレームのセグメントに9を設定すると、すべてのフレームを学習できません。

**分割数**

各動画をいくつのセグメントに分割するかを設定します。推奨値は**5**です。16fpsの5秒動画の場合、5分割では1セグメントあたり16フレーム、4分割では20フレームになります。

**画像ごとの繰り返し回数**

各動画を何回トレーニングに使用するかを設定します。

**エポック数**

上記の処理を、指定した回数だけ繰り返します。

**モデル効果プレビュー用プロンプト**

データセットのタグをもとにしたプロンプトを使用します。画像から動画のプレビューを生成する場合は、開始フレームの画像に合うように調整してください。

**開始フレーム**

画像から動画を生成する際に、サンプル動画の入力として使用する画像です。

#### 画像から動画のトレーニングを設定する

通常の画像から動画のトレーニングでは、**wan2.2 i2v-low**を選択します。詳細設定は初期値のままにしてください。

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2F7W6Tv9H6n2nqkGxj6psC%2FSet%20Up%20Image-to-Video%20Training.png?alt=media&#x26;token=1dd50494-b686-4809-a799-0134160dda3e" alt=""><figcaption></figcaption></figure>

**モデル効果プレビュー用プロンプト**は、動画のタグを選択して、そのまま入力欄に反映できます。

**開始フレーム**には、トレーニング用動画と同じタイプの画像をアップロードしてください。写実的な動画には写実的な画像を使います。また、動画が上半身を映している場合は、プレビューにも上半身の画像を選びましょう。

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FSYyv6a0AxG5cdb18oCTd%2F333315fe-8112-4711-a993-c73d7ddc3742.png?alt=media&#x26;token=c4b965d3-7713-49ba-9954-d230925baed8" alt=""><figcaption></figcaption></figure>

#### テキストから動画のトレーニングを設定する

**wan2.2 t2v-low**を選択します。**モデル効果プレビュー用プロンプト**は、動画のタグを選択して、そのまま入力できます。

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2FTLR2iuWZZ8CbVGWWfdmY%2FSet%20Up%20Text-to-Video%20Training.png?alt=media&#x26;token=f04b5277-4be0-43d8-aa01-14dd59b73bfe" alt=""><figcaption></figcaption></figure>

#### 操作デモでトレーニングの流れを確認する

以下のデモでは、各動画生成タイプのトレーニング手順を紹介しています。選択したモデルに合ったデモを参考にしてください。

**テキストから動画（t2v）**

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2F4W0shNfiizEXHlNVf8It%2FText-to-video%20(t2v).gif?alt=media&#x26;token=45ecd358-7c81-4105-ba2f-4388cfb17d2f" alt=""><figcaption></figcaption></figure>

**画像から動画（i2v）**

<figure><img src="https://2219884424-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FigAtVLBrlaI8jVruJfC8%2Fuploads%2Fcl1RWTxf08dnGCmv6jSr%2FImage-to-video%20(i2v).gif?alt=media&#x26;token=d4dba94d-bc49-4a0b-9dcf-3b5b74e58d24" alt=""><figcaption></figcaption></figure>

#### Wan2.2 LoRAをテストする

**画像から動画のテスト**

以下のワークフローを使用します。

{% file src="/files/uG7ayzJKtpfk6fFUkwLd" %}

または、アプリ[Wan2.2 Test](https://www.seaart.ai/ja/app/d4ihmble878c738mrk2g)を使用します。

<figure><img src="https://1032308035-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FBZCjgc8P9tA3CJw4NnIH%2Fuploads%2FWoUN12r2tEEuZn8sksRX%2Fimage.png?alt=media&amp;token=d45d045e-272b-4d61-9707-89ae933cc20c" alt=""><figcaption></figcaption></figure>

1. 1つ目のローダーで**高ノイズLoRA**を選択します。
2. 2つ目のローダーで**低ノイズLoRA**を選択します。
3. どちらか一方だけをトレーニングした場合は、両方のローダーで同じLoRAを選択します。
4. プロンプトを入力します。「Please enter text」欄に、タグ付けに使用した文章を入力します。
5. 入力画像を指定します。「Please select an image」で画像を選択します。トレーニング用動画の最初のフレームに近い画像がおすすめです。

**テキストから動画のテスト**

以下のワークフローを使用します。

{% file src="/files/81gZ8XyeOeMsbjFQ3e7n" %}

または、アプリ[Wan2.2 Video Test](https://www.seaart.ai/ja/app/d4ilp4le878c738nnlg0)を使用します。

<figure><img src="https://1032308035-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FBZCjgc8P9tA3CJw4NnIH%2Fuploads%2FD2qY570KDdzLtozh9c56%2Fimage.png?alt=media&amp;token=5184950c-ebf6-408e-9417-8870219c776b" alt=""><figcaption></figcaption></figure>

1. 1つ目のローダーで**高ノイズLoRA**を選択します。
2. 2つ目のローダーで**低ノイズLoRA**を選択します。
3. LoRAが1つしかない場合は、両方のローダーで同じLoRAを選択します。
4. 「Please enter the width」欄に、出力動画の幅を入力します。
5. 「Please enter the height」欄に、出力動画の高さを入力します。
6. プロンプトを入力します。「Please enter text」欄に、タグ付けに使用した文章を入力します。
