Novel AIにControlNetが登場！（コントロールツールの使い方）
こんにちは、画像生成AIでひたすら猫のイラストを生成している じょじお（＠jojio‗illust）です。
Novel AIが、2023年4月1日に大型アップデートを発表したので、チェックしたいと思います。
▲AI画像の大量ファイルをプロンプトと一緒に簡単に整理する方法はこちら。
Stable Diffusionのプロンプトエンジニアリングの基本について理解したい方には、初心者向けのプロンプトガイドを作りましたのでそちらを見てください！
Novel AIの大型アップデートはエイプリルフールの嘘じゃなかった。
新人ブロガーNovel AIにControlnetが追加されたってマジ？
じょじおマジらしいです。
Novel AIから4月1日に大きなアップデートが発表されました。
Controlnet（Novel AIではコントロールツールという名称）の追加という衝撃的な内容だったため、一部のネットユーザーの間ではエイプリルフールの嘘じゃないかと、推測されていました。
しかし、4月2日も情報の訂正がされていません。実際に機能が公開されていて、私自身機能を使えているのでどうやら嘘じゃあないようです。
Novel AIの大型アップデートの概要
じょじお4月1日に発表されたアップデート内容は下記です。
新人ブロガー目玉はコントロールツールだよ。
4月1日のアップデートを表にしてみました。
| 区分 | 日本語機能名（English name） | ざっくり解説 |
| コントロールツール | カラースワップ（Pallete swap） | 元画像の色変更 Depthっぽい |
| コントロールツール | フォームロック（Form Lock） | 元画像のポーズのままバリエーション変更 Openposeっぽい |
| コントロールツール | スクリブラー（Scribbler） | ラクガキを清書 Scribbleっぽい |
| コントロールツール | ビルディングコントロール（Building Control） | 元画像の直線の雰囲気を残したまま、元画像のバリエーションを生成します。 |
| コントロールツール | ランドスケーパー（Landscaper） | 元画像の雰囲気を残したまま、背景を描き込みます。 |
| i2i（Img2Img） | ？ | |
| アップスケール（Upscale） | ？ | |
| UIアップデート（Image Generation UI Overhaul） | ？ | |
| 沢山の画像も一気に生成可能！ | 沢山の画像も一気に生成可能！ | |
| 画像のピン留め機能 | お気に入り画像をピン留めして簡単に呼び出せるようになりました。 |
コントロールツールとは？
上表のコントロールツールと書かれている機能たちは、ControlNetの仕組みを使っているようです。
ControlNetをざっくり解説すると、プロンプトによる通常の画像生成に、「画像」のニュアンスを使って、画像生成をコントロールする仕組みです。
画像を使うのでImage-to-Imageの一種です。
Controlnetの仕組みを使えば、これまで苦労していたキャラクターのポーズの調整が簡単にできるようになったので、AI画像界隈では大変話題になりました。
Stable Diffusionでは既に、人気のUIであるautomatic1111 WebUIの、拡張機能版が登場していたので、SDユーザーの方は使ったことがある方も多いでしょう。
▲ControlnetはStable Diffusion WebUIでも使うことができます。
コントロールツールで何ができるようになったの？
コントロールツールが利用できることによる一番の恩恵は次の2つかなーと思います。
１．キャラクターのポーズ調整が簡単になった（カラースワップ機能）
２．キャラクターの色変更が簡単になった（フォームロック機能）
この記事では、この2つの機能を含めて機能を使ってみたいと思います。
Novel AIのコントロールツールの使い方
じょじお追加された機能のほとんどはコントロールツールに含まれる機能です。
ですので最初にNovel AIのコントロールツールの使い方について紹介しますね。
コントロールツールのざっくりした使い方
- コントロールツールの画像エリアにベース画像をドロップする
- 複数あるコントロールツールの機能を選択
- プロンプト・ネガティブプロンプトなどの各種設定をする。
- 画像生成ボタンをクリック
コントロールツールに使える画像
じょじおコントロールツールのすべての機能は、Image-to-Imageが基本となります。
新人ブロガーじゃあ元になる画像が必要なんだ？
じょじおそうです。元画像は次の方法で用意します。
- Novel AIで作成した画像を使う方法
- Novel AIのペイントツールでラクガキした絵を使う方法
- 別に用意した既存の画像をNovel AIにアップロードする方法
Novel AIで生成した絵をコントロールツールに使う方法
じょじおNovel AIで生成した画像をそのままコントロールツールする方法を紹介します。
▼コントロールツールしたい画像を選択したら、図の赤枠の「ベース画像として使用する」というアイコンをクリックします。
▼するとコントロールツールの画像領域に元画像として転送されます。図ではコントロールツールメニューが上に被っているのでわかりづらいかも。表示されない場合は左ペインを下にスクロールすると表示されるはずです。
▼そしてコントロールツールメニューから、使用したい機能を選択します。
▼今回は「カラースワップ」機能を選択してみました。機能を選択すると各機能のアルゴリズムによって元画像が処理されます。カラースワップ機能の場合は一旦線画抽出してから色変更を行う機能ですので、元画像から線画が検出されました。
▼あとは通常の画像生成と同じです。プロンプトとネガティブプロンプトなどの設定を入力して、画像生成ボタンを押しましょう。コントロールツールの機能に沿った画像が生成されます。プロンプトは各機能によって考えましょう。元画像そのままのプロンプトでも機能するコントロールツールもあります。
Novel AIのコントロールツールの各機能の違いは？
じょじお基本がわかったところで、各機能をざっくり見てみますね。
１．カラースワップ（Palette Swapp）
カラースワップ機能は、元画像のカラーバリエーションを生成する機能です。
コントロールツールの全機能の中で、一番元画像に近い絵になります。
これはおそらくControlnetのDepth機能の仕組みを使っているものと思われます。
カラースワップ機能の使い方
▼コントロールツールのメニューを開いたら、カラースワップ機能をクリックします。
▼カラースワップは、プロンプトを変更しなくてもそのまま「Generate」ボタンをクリックするだけでも、AIがなんとなく色変更してくれます。その場合はGenerateボタンを押すだけです。きちんとプロンプトで色の指定をすれば、色コントロールができます。
▼結果はこんな感じです。左画像が今回使用した元画像、真ん中画像が元画像のプロンプトそのまま。右画像がプロンプトの色指定を変化させて生成しました。
新人ブロガーすごい。プロンプトの注文通り色が変更できたね。
じょじおカラースワップは気に入った絵の色違いバージョンを作るのに良さそうですね。
Masterpiece, best quality, high detailed, cute 1girl, flat color, green skirt, pink twin tail, gothic
ネガティブ
fingers, bad fingers, bad handsMasterpiece, best quality, high detailed, cute 1girl, flat color, blue skirt, red twin tail, gothic, green background
ネガティブ
fingers, bad fingers, bad hands２．フォームロック（Form Lock）
フォームロックはキャラクターのポーズ（骨格や構図）をそのままに、画像のバリエーションを生成する機能です。
これはおそらくControlnetのOpenposeの仕組みを使っているものと思われます。
←左の画像のプロンプト：humanoid robot 右の画像のプロンプト1girl→
新人ブロガープロンプトを変えたら、同じポーズなのに全然違うキャラクターになったよー。
じょじおフォームロックは元画像のポーズ（構図）だけ真似して、別のキャラクターを生成したい時に使えそうです！
３．スクリブラー（Scribbler）
スクリブラーは、ラクガキをハイクオリティな絵に仕上げてくれる機能です。
Novel AIにはペイント機能もあるので、Novel AI上でラクガキを描いて、そのラクガキから絵を仕上げることができます。
もちろん外部ツールで作成したラクガキ画像をアップロードして使うこともできます。
じょじおスクリブラーのコツは、線画だけだとうまく機能しないので、中をしっかり塗った絵を使うことです。
４．ビルディングコントロール（Building control）
ビルディングコントロールは、元絵の直線を検出して、奥行きや広さを再現し、別の景色のバリエーション画像を生成します。
奥行きと広さは数値で調整できるようです。
主に建物などの直線的な絵を生成するための機能なので、プロンプトもそれっぽいものを使わないと効果を実感できません。
A Control Tool made to take straight lines from the base image and arrange buildings using those. It can generate both building interiors and exteriors. Works best, of course, if your prompt is also written to generate buildings.
（訳）ベース画像から直線を取り出し、それを使って建物を配置するためのコントロールツールです。建物の内装と外装の両方を生成できます。もちろん、プロンプトが建物を生成するようにも書かれている場合に最適です。
Building Control
新人ブロガー同じ構図なのに雰囲気が違うね。
じょじおビルディングコントロールは、背景イラストのバリエーション生成によさそうです。
５．ランドスケーパー（Landscaper）
ランドスケーパーは、ベース画像をもとにそれっぽい風景を作成する機能です。
キャラクターの後ろに背景を描くこともできます。
As the name implies, Landscaper is a Control Tool designed to take the shapes in the base image to form sceneries. Also needs a good prompt telling the AI what kind of scenery you want.
（訳）ランドスケープは、名前が示すように、ベース イメージの形状を使用して風景を作成するように設計されたコントロール ツールです。また、どのような風景が必要かを AI に伝える適切なプロンプトも必要です。
https://docs.novelai.net/image/controltools.html#landscaper
←元画像 ランドスケーパー適用→
←元画像 ランドスケーパー適用→
その他のアップデート
Novel AIでは、その他にもUIの刷新や、ピン留め機能、同時画像生成数の増加などのアップデートがありました。
UIの刷新
プロンプトの入力領域が右から左に移動しました。
また、ネガティブプロンプトとプロンプトの２つのテキストボックスが、タブで切り替えれるようになりました。従来のように2つ同時に表示することもできます。
ピン留め機能
画像のピン留め機能が追加されました。
ピン留めした画像は、ログで流れてしまうことがありません。気に入った画像やコントロールツールで使う予定の画像はピン留めしておくと良さそうです。
参考
この記事は、Novel AIのブログとドキュメントの一部を抜粋して紹介しています。
是非、公式情報もあわせてチェックしてみてください。
まとめ
以上、Novel AIの大型アップデートについてまとめてみました。
じょじお最後まで読んでくださってありがとうございます！
この記事がお役に立てましたら、シェアボタンからシェアしていただけたら嬉しいです！
【おすすめUdemy講座】Midjourney始め方から応用まで網羅！【完全版】
【おすすめUdemy講座】ジェネレーティブAI（生成AI）入門【ChatGPT/Midjourney】 -プロンプトエンジニアリングが開く未来-
コメント