> For the complete documentation index, see [llms.txt](https://docs.seaart.ai/guide-1/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.seaart.ai/guide-1/ja/seaart-aino/controlnet.md). # ControlNet ControlNetを使って、AI画像生成を思いどおりに調整しましょう。プリプロセッサの種類や仕組み、魅力的なAIアートを作るための使い方を紹介します。 ### ControlNetとは？ ControlNetは、参考画像の輪郭、人物のポーズ、空間構造などの視覚情報を使って、AI画像生成をコントロールする機能です。たとえば、写真のポーズを活かして服装の異なるキャラクターを生成したり、建物の主な輪郭を保ちながら、さまざまな表現スタイルを試したりできます。ControlNetの種類によって参照する情報が異なるため、残したい要素に合わせて選びましょう。 ### ControlNetの仕組み一般的なControlNetのワークフローは、**プリプロセッサ**と**ControlNetモデル**の2つで構成されます。 * **プリプロセッサ：** 参考画像から特定の視覚情報を抽出し、輪郭マップ、ポーズマップ、深度マップなどの制御用マップやプレビュー画像に変換します。 * **ControlNetモデル：** 抽出された制御情報を画像生成モデルに反映し、参考画像の構造、ポーズ、輪郭、奥行きなどを保ちながら画像を生成できるようにします。通常、プリプロセッサとControlNetモデルは、対応するものを組み合わせる必要があります。たとえば、ポーズ用のプリプロセッサにはポーズ用のControlNetモデルを、深度用のプリプロセッサには深度用のControlNetモデルを使います。 #### ControlNetの使い方 > **始める前に：** 現在、ControlNetに対応していないモデルもあります。利用できるControlNetの種類や設定は、選択したモデルによって異なります。モデルのページに表示される項目を確認してください。ここではSDXLモデルを例に、ControlNetの使い方と種類の選び方を説明します。 **1. ControlNetを有効にする** SeaArtの**画像作成画面**を開き、プロンプト入力欄の左側にある画像アイコンをクリックします。

表示されたメニューから**ControlNet**を探し、**Canny**など、使いたい種類を選択します。その後、案内に従って参考画像をアップロードします。

プロンプト入力欄の上に表示された参考画像と、サムネイルの下にあるCannyの表示

**2. 参考画像の設定を開く** アップロードした画像は、プロンプト入力欄の上に表示されます。サムネイルの下には、現在適用されているControlNetの種類が表示されます。

参考画像をクリックして、設定パネルを開きます。 **3. ControlNetの種類を切り替える** 設定パネルで、\*\*「ControlNetの種類（ControlNet Type）」\*\*をクリックします。現在の設定に応じて、**Canny**などの種類が表示されています。

一覧から使いたい種類を選び、\*\*「確認（Confirm）」\*\*をクリックします。ここからは、各ControlNetの特徴を紹介します。参考画像のどの情報を残したいかに合わせて選びましょう。 #### **Canny** **基本情報** Cannyは、入力画像のエッジ（輪郭）情報を検出し、アップロードした画像から精密な線画を抽出します。その情報とプロンプトをもとに、元の構図を保ちながら新しい画像を生成します。

**プリプロセッサ** * **canny：** くっきりとしたエッジを検出します。 * **invert：** 線画の色を反転し、白い背景に黒い線の画像にします。

invertはCanny専用ではなく、多くの線画系モデルと組み合わせて使えます。Line ArtやMLSDなどのControlNetを選んだ場合にも利用できます。 **インテリジェント分析** 画像からプロンプトやモデルを推定します。元の画像とは異なるスタイルにしたい場合は、インテリジェント分析をオフにすることをおすすめします。 **パラメータ設定** 前処理解像度前処理解像度は、プレビュー画像の出力解像度に影響します。画像のアスペクト比は固定され、標準では元画像と同じ倍率で出力されるため、この設定は基本的にプレビュー画像の横幅を決めるものです。たとえば、元画像と生成する画像のサイズがどちらも512×768の場合、前処理解像度を128、256、512、1024に設定すると、前処理後の画像サイズはそれぞれ次のようになります。 * 128：128×192（元画像の0.25倍） * 256：256×384（元画像の0.5倍） * 512：512×768（元画像と同じ） * 1024：1024×1536（元画像の2倍）一般に、解像度を高くするほど、生成画像の細部が豊かになります。 ※前処理で作成した画像と、最終的に生成する画像のサイズが合っていない場合、描写が崩れたり、被写体の輪郭に目立つギザギザが生じたりすることがあります。

制御の重み（Control Weight） ControlNetの影響の強さを設定します。値を高くするほど制御が強まり、生成画像は元画像の特徴に近づきます。

制御モード（Control Mode） ControlNetとプロンプトのどちらを優先するかを設定します。初期設定は「バランス」です。 * **プロンプトを優先：** 制御用マップの影響を弱めます。 * **前処理画像を優先：** 制御用マップの影響を強めます。生成結果以下の例では、基本的な構図は元画像と同じですが、細部は大きく変わっています。髪の色、顔の細部、服装などを変えたい場合は、プロンプトやパラメータを調整して、希望する仕上がりに近づけましょう。

#### **OpenPose Full** **基本情報** OpenPose Fullは、人物のポーズや表情の特徴を細かく指定するために使います。1人だけでなく、複数人のポーズにも対応しています。頭、肩、肘、膝など、人体の骨格上の主要なポイントを検出します。服装、髪型、背景などの細部は参照せず、ポーズや表情の再現に必要な情報を抽出します。 **プリプロセッサ** **人物のポーズ検出** 標準ではopenpose系のプリプロセッサを使います。openpose、face、faceonly、full、handなどがあり、顔、手足、手指など、検出する範囲が異なります。 **動物のポーズ検出** animal\_openposeプリプロセッサの使用をおすすめします。control\_sd15\_animal\_openpose\_fp16など、動物のポーズ検出に対応した専用モデルと組み合わせて使えます。

通常は、標準のopenpose\_fullプリプロセッサで十分です。 #### **Line Art** **基本情報** Line Artも画像から輪郭線を抽出する機能ですが、実写向けとアニメ向けがあり、用途に合わせて使い分けられます。 **プリプロセッサ** **Line Art** 実写画像に適しており、元画像の特徴をよく残した線画を抽出します。輪郭の細部を多く検出するため、細かな形状まで生成に反映しやすくなります。 **Line ArtとCannyの違い** * **Canny：** くっきりとした、太さが比較的均一な線を抽出します。 * **Line Art：** 手描きの下描きに近い筆致があり、輪郭に応じた線の太さの変化が見られます。 Line Artはより多くの細部を残し、比較的柔らかな仕上がりになるため、線画への着色にも適しています。 Cannyは、画像の内容をより明確でシンプルな輪郭として捉えます。 ※Line Artは、下描きの形をしっかり活かした着色にも使えます。 #### **Depth** **基本情報** Depthは、シーン内の物体の奥行きを表す情報です。距離画像とも呼ばれ、白黒の濃淡で表示されます。カメラに近いものほど明るく白く、遠いものほど暗く黒く表されます。

画像から物体の前後関係を抽出して深度マップを作成し、画像生成に利用します。シーン内の物体の位置関係や奥行きを明確にしたいときに役立ちます。よりよい生成結果を得るには、depth\_midasプリプロセッサの使用をおすすめします。

#### **Normal Bae** **基本情報** Normal Baeは、シーンの光や陰影の情報をもとに、物体表面の向きを表す法線マップを生成します。これにより、物体表面の細かな凹凸や質感を表現し、シーン内の配置を再現しやすくなります。物体表面のよりリアルな光と陰影を表現したい場合に役立ちます。以下の例では、適用後に光や陰影の表現が大きく変化していることがわかります。光や陰影の変化をよりはっきり反映させたい場合は、normal\_baeプリプロセッサを選ぶことをおすすめします。

元画像、Normal Baeの法線マップ、生成結果の比較 — 元画像 / Normal Bae / 生成結果

#### **Segmentation** **基本情報** Segmentationは、画像内の輪郭を検出しながら、シーンを複数の領域に分割し、それぞれに「人物」「地面」などの意味を割り当てます。これにより、画像の内容や配置をより細かく制御できます。以下の例では、領域分割後の画像が色分けされています。人物は赤、地面は茶色、看板はピンクなど、シーン内の要素ごとに異なる色が割り当てられています。生成時には、それぞれの色の領域内に対応するものを描くため、元画像の内容や配置を再現しやすくなります。標準のseg\_ufade20kプリプロセッサの使用をおすすめします。また、前処理画像の色分けされた領域を塗り替えることで、生成する内容を変更することもできます。

元画像、Segmentationの領域分割画像、生成結果の比較 — 元画像 / Segmentation / 生成結果

#### **Tile Resample** Tile Resampleは、画質の劣化を抑えながら、低解像度の画像を高解像度化するために使います。プリプロセッサには、tile\_resample、tile\_colorfix、tile\_colorfixsharpの3種類があります。

※標準のresampleは、ほかの方式と比べて描写の自由度が高く、元画像の内容から大きく変わらずに生成できます。 #### **MLSD** **基本情報** MLSDは、シーン内の直線的なエッジを抽出します。物体の直線的・幾何学的な輪郭を捉えるのに適しており、主に建築やインテリアデザインなどの分野で役立ちます。

#### **Scribble HED** **基本情報** Scribble HEDは、クレヨンで描いたラフな線画のような情報を使い、比較的自由度の高い画像生成を行えます。プリプロセッサには、HED、PiDiNet、XDoG、t2ia\_sketch\_pidiがあります。これらを比較すると、前の2つは輪郭線が太く、手描きの落書きに近い表現になります。後ろの2つは線が細く、リアルな表現に向いています。 ※下描きへの着色にも使えますが、仕上がりにはある程度のランダム性があります。 **HED** **基本情報** HEDは、Cannyに近い形で、物体の境界を明確に抽出します。表情、髪、指などの細かな特徴を残しながら、複雑な細部や輪郭を捉えられるのが特徴です。画像のスタイルや色を変える用途にも使えます。 Cannyと比べて、HEDは線が柔らかく、より多くの細部を残します。目的に合わせてプリプロセッサを選びましょう。 #### **color\_grid** **基本情報** プリプロセッサで画像を色のブロックに分け、その配色をもとに画像を描き直します。 #### **shuffle** **基本情報** 参考画像の特徴をランダムに入れ替えて再構成します。生成画像の構造や内容は元画像と異なる場合がありますが、スタイルには元画像との共通点が残ります。結果を安定して制御しにくいため、広く使われる方法ではありませんが、新しいアイデアを得たいときには試す価値があります。

#### **参照生成（Reference Generation）** **基本情報** 元画像を参考に、新しい画像を生成します。標準の「only」プリプロセッサの使用をおすすめします。 **制御の重み：** 値を高くするほど元画像の特徴が安定して反映され、元のスタイルがより強く残ります。

#### **recolor** 画像に色を付ける機能で、古い白黒写真のカラー化などに適しています。ただし、狙った場所に正確に色が付くとは限らず、色がほかの領域ににじむ場合もあります。 **プリプロセッサ：**「intensity」と「luminance」があり、「luminance」の使用をおすすめします。

元画像、recolor_luminance、recolor_intensityの比較

#### **ip\_adapter** **基本情報** アップロードした画像を、画像によるプロンプトとして使います。参考画像のスタイルや内容を読み取り、似た作品を生成できます。ほかのControlNetと組み合わせて使うこともできます。

**設定と使い方のコツ** 1. 生成のもとにする画像Aをアップロードし、Canny、OpenPose、DepthなどのControlNetを選択します。 2. ControlNetをもうひとつ追加してip\_adapterを選び、取り入れたいスタイルの画像Bをアップロードします。最後に「生成」をクリックします。生成結果：画像Aの構造やポーズなどを活かしながら、画像Bのスタイルを取り入れた画像になります。