> For the complete documentation index, see [llms.txt](https://docs.seaart.ai/guide-1/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.seaart.ai/guide-1/ja/seaart-ai-basic-function/workflow/img2img-partial-repainting.md).

# Img2Imgと部分的な再描画

ComfyUIの画像から画像を生成するワークフローと、4つの強力な部分再描画方法（VAE Encode、Set Latent Noise Mask、ControlNet Inpaint、CLIPSeg）について説明します。

## 基本的なImg2Img（画像から画像を生成）

**Img2Img（画像から画像を生成）** は、[テキストから画像を生成するワークフロー](https://docs.seaart.ai/guide-1/ja/seaart-ai-basic-function/workflow/text-to-image-workflow.md)をもとに、次のノードを追加して設定します。

* **Load Image（画像を読み込む）**：元となる画像を読み込みます。
* **VAE Encode（画像を潜在データに変換する）**：読み込んだ画像を、画像生成モデルが処理できる潜在データに変換します。

通常の画像は、そのままでは画像生成モデルの潜在データとして使用できません。そこで、VAEと呼ばれる変換モデルを使って、画像を潜在空間で扱える形式に変換します。

画像の拡大・縮小などを行わなければ、出力画像は基本的に入力画像と同じサイズになります。ただし、モデルやノードの制約によって調整される場合があります。

**Empty Latent Image（空の潜在画像を作成する）**

Text to Imageでは、このノードで生成する画像のサイズや枚数を指定し、処理の土台となる潜在データを用意します。ノイズの追加や除去は、主にサンプリング処理で行われます。

Img2Imgでは、入力画像をVAE Encodeで変換した潜在データを使用するため、通常はEmpty Latent Imageを使用しません。

**ワークフロー：** 画像をアップロード → モデルを選択 → プロンプトを入力 → パラメータを調整 → 生成

**主なパラメータ**

**denoise（ノイズ除去の強さ／元画像を変化させる度合い）**

一般的な **Denoising Strength（ノイズ除去強度）** に相当し、0〜1の範囲で調整します。値が低いほど元画像の特徴が残りやすく、高いほど変化が大きくなります。

Img2Imgは、画風の変更や画像の修復などに利用できます。ほかのノードや処理と組み合わせることで、画像の拡張や高解像度化にも活用できます。

**画像の前処理**

必要に応じて、画像を拡大・縮小したり、切り抜いたりするノードを追加します。前処理を行わず、そのまま使用することもできます。

* **Upscale Image（画像サイズを指定して拡大・縮小）**：幅と高さを指定して、画像のサイズを変更します。
* **Upscale Image By（倍率を指定して拡大・縮小）**：元画像に対する倍率を指定して、画像のサイズを変更します。
* **ImageCrop（画像の切り抜き）**：指定した範囲を切り抜きます。

## 部分的な再描画

**Inpainting（インペイント）** は、画像の一部を指定して描き直す処理です。

描き直す範囲は、**Mask（マスク）** で指定します。通常、白い部分が再描画する範囲、黒い部分が残す範囲です。

以下では、部分再描画に使うノードと、マスクを自動生成する機能を紹介します。

### **1. VAE Encode (for Inpainting)（部分再描画用の画像変換）**

**VAE Encode (for Inpainting)（部分再描画用に画像を潜在データへ変換するノード）** を追加し、画像、VAE、マスクをそれぞれ接続します。

Load Image（画像を読み込む）ノードの画像を右クリックし、**Open in MaskEditor（マスク編集画面を開く）** を選択して、描き直したい部分を塗ります。対応する編集画面では、マウスの右ボタンを押しながら操作すると、塗ったマスクを消去できます。

**設定のポイント：** 使用するモデルに合ったVAEを選び、マスクした部分に描きたい内容をプロンプトに入力します。

このノードは、マスク部分の元画像の情報を取り除いてから潜在データに変換します。そのため、マスク部分の内容を大きく描き変えたい場合に適しています。実際の変化の大きさは、モデルやdenoise（ノイズ除去の強さ）などの設定にも左右されます。

### **2. Set Latent Noise Mask（潜在データに再描画範囲を設定）**

まず、**VAE Encode（画像を潜在データに変換する）** で元画像を変換します。

次に、**Set Latent Noise Mask（潜在データにノイズ処理の対象範囲を設定する）** を接続し、再描画する範囲をマスクで指定します。

VAE Encode (for Inpainting)とは異なり、マスク部分の画像情報も潜在データに残した状態で処理します。denoise（ノイズ除去の強さ）を低めに設定すると、元画像の特徴を残しながら調整しやすくなります。

ただし、denoiseを高くすると、元画像から大きく変化する場合があります。

#### **3. ControlNet Inpaint（画像の情報を利用して部分再描画を補助）**

**ControlNet（画像の構図や形状などを生成条件として利用する仕組み）** を追加し、使用する画像生成モデルに対応した **Inpaintモデル（部分再描画用のControlNetモデル）** を選択します。

必要に応じて、**Inpaint Preprocessor（部分再描画用の前処理ノード）** に画像とマスクを入力し、ControlNetへ渡すためのデータを準備します。

<mark style="color:$danger;">**注意：**</mark> ControlNetに渡す画像とは別に、サンプリングに使用する潜在データも必要です。元画像をもとに生成する場合は、VAE Encodeなどで変換したデータを接続してください。

### **4. CLIPSeg（テキスト指定でマスクを自動生成）**

**CLIPSeg（テキストをもとに画像内の対象を識別する機能）** を使うと、対象を表す言葉を入力して、マスクを自動生成できます。

たとえば「髪」や「服」など、対象を指定する言葉を入力します。認識結果に応じてマスクが作成されるため、手動で塗る作業を減らせます。

CLIPSeg自体が画像を描き直すわけではありません。生成したマスクをSet Latent Noise Maskなどに接続して、部分再描画に利用します。

**主なパラメータ**

* **text（認識する対象）**：マスクにしたい対象を表す言葉を入力します。
* **threshold（認識結果をマスクに含める基準値）**：どの程度の認識スコアを持つ部分までマスクに含めるかを調整します。
* **dilation\_factor（マスクを広げる量）**：認識した対象の周囲に、マスクをどの程度広げるかを調整します。

**出力**

* **Heatmap Mask（認識の強さを色で示すマスク）**：対象として認識された度合いを、色の違いで確認できます。
* **BW Mask（白黒のマスク）**：再描画などに使用する範囲を、白と黒で確認できます。

出力したマスクは、それぞれプレビューノードに接続して確認できます。

**各機能の違い**

1. **VAE Encode (for Inpainting)（部分再描画用の画像変換）**：マスク部分の元画像の情報を取り除いて変換するため、その部分を大きく描き変えたい場合に適しています。
2. **Set Latent Noise Mask（潜在データへのマスク設定）**：元画像の情報を残して再描画範囲を指定します。設定によって、元画像の特徴を保ちながら調整できます。
3. **ControlNet Inpaint（画像の情報を利用した部分再描画の補助）**：周囲の画像情報などを生成条件に加え、再描画を補助します。
4. **CLIPSeg（テキストによるマスクの自動生成）**：描き直す対象を言葉で指定して、マスクを作成します。ほかの再描画ノードと組み合わせて使用します。
