【初心者向け】VAEで画像のモヤモヤを除去しよう。
こんにちは、画像生成AIでひたすら猫のイラストを生成している じょじお（＠jojio‗illust）です。
Stable Diffusionで画像生成しているとき、「あれ・・・サンプルでみた綺麗な画像と全然違う・・・」とか「なんか画像がぼやける・・・」なんていうように思ったことはないでしょうか？
じょじおそれ、VAEを導入することで解決するかもしれません。
▲AI画像の大量ファイルをプロンプトと一緒に簡単に整理する方法はこちら。
▲素材に関連する英単語100個以上まとめました。
▲すべてのプロンプト関連記事はこちらにまとめています。
▲Midjourneyユーザー向け。専用Discordサーバーを作って画像生成作業を効率化する方法。
VAEとは？
VAEは、Variasional Auto Encorderの略で、日本語では変分自己符号化器（へんぶんじこふごうかき）というらしいです。
じょじお変分自己符号化器って何ぞ？と思う方も安心してください。
筆者自身もよくわかっていません。
よくわからなくても誰でも簡単に使うことができます。
VAEの役割
VAEは、きれいな画像生成を助けます。
具体的には、VAEを使うことで下記の効果を得ることができる可能性があります。
- モヤモヤした画像のモヤモヤがなくなる。
- 画像が鮮明になる。
- 細部のディティールが崩れにくくなる（目・指など）。
モデルによっては、高品質な画像を生成するためには必須です。
じょじお生成した画像が、なんかぼやけるなぁ・・・と思ったらVAEを探して適用してみましょう。
2種類のVAE
2種類のVAE
VAEには大きく分けて2種類あります。
- 汎用的に使えるVAE：どんなモデルでも使えるVAE（例：Stablity AI社のvae-ft-mse-840000）
- モデル独自のVAE：とあるモデル専用に作られたVAE（例：Counterfeitモデル用のcounterfeit.vae）
VAEファイルの拡張子
「.pt」や「.safetensors」などがあります。
どのVAEを使用すればいいか？
どのVAEを使うべきかは、モデルによって異なります。
モデルによってはVAEをつかない方がいいこともありますので、まずは利用するモデルのディスクリプションを確認してください。
そこに推奨されるVAEについての説明を確認できることあります。
1.モデルのディスクリプションを確認しよう。
モデル「Basil mix」を例に、推奨VAEを確認してみます。
▲この図は、Basilmixのディスクリプションです。赤枠のところにVAEについて記載があり、vae-ft-mse-840000ファイルが推奨されていることがわかります。
Hugging FaceのBasilmixのページ
2.モデルのファイル群を確認しよう。
モデルのディスクリプションに記載がない場合、モデルのファイル群の中にVAEファイルがあるかどうかを確認すると良いでしょう。
ファイル群の中にVAEファイルがあればそれを使えばいいかと思います。
VAEの導入方法
2つの導入方法
VAEの適用方法は2つあります。
- 手動適用：WebUIの設定画面でVAEを選択して適用する。
- 自動適用：あらかじめ、モデルと同名にして、モデルと一緒に格納しておくことで、画像生成のたびにVAEを自動適用する。
じょじおこの記事では手動適用の方法を解説します。手動適用の方が切り替えが楽です。
じょじおモデルによって切り替えることも多いので私はこちらの方がおすすめです。
VAE手動適用の手順
じょじお手動適用の手順です。
先ほどもお伝えしたいようにVAEは、いろいろありますが、ここでは汎用的に使えるStability AI社のVAEを適用する方法を紹介します。
手順の概要
手順の概要としては、Hugging Faceからダウンロードして適用します。
- Hugging FaceなどからVAEファイルをダウンロード。
- ダウンロードしたファイルを設置。
- Automatic1111のConfigにてVAEを選択して適用。
手順
Stability AI社が公開する汎用的なVAEが公開されている、Hugging Faceのページにアクセスします。
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main
▲VAEファイルがあるのでダウンロードします。同じファイル名で、拡張子違いのファイルが2つあります。
一般的にsafetensorsの方が安全と言われているので、safetensorsを選択してダウンロードします。
▲ダウンロードしたファイルはAutomatic1111のインストールフォルダの中のVAEフォルダに格納します。
▲保存しました。
▲保存したらAutomatic1111を起動します。すでに起動中の場合は一度、再起動してください。開いたら「Settings（設定）」タブを開き、左側の「Stable Diffusion」をクリックします（図①）。
SD VAEという項目があるので先ほど設置したVAEファイルの名前を選びます。複数VAEファイルを設置した場合は、プルダウンにそれが表示されます。
▲設定したら画面上部にある「Apply settings」ボタンを押して、設定を反映させます。
じょじおこれでVAEの適用は以上です。
画像生成をしてみて、違いを感じることができたら成功です。
VAEの切り替え方法
モデルを変更した場合、VAEも変更したくなることがあります。
その場合は、もう一度これまでの手順を実施してVAEを追加します。
画像クオリティアップのヒント
VAE以外にも画像のクオリティをアップさせる方法があります。
下記の記事も参考になるかもしれません。
まとめ
以上、画像のクオリティをアップさせるVAEについて紹介しました。
【おすすめUdemy講座】Midjourney始め方から応用まで網羅！【完全版】
【おすすめUdemy講座】ジェネレーティブAI（生成AI）入門【ChatGPT/Midjourney】 -プロンプトエンジニアリングが開く未来-
コメント
コメント一覧 （4件）
jojio様、はじめまして。
“2.モデルのファイル群を確認しよう。”のところでCounterfeitの場合が紹介されていますが、Hugging Faceを見るとVAEはV2.5しかありません。
モデルがV2.2でもVAEはV2.5を使えば良いということで正しいでしょうか？
お手数おかけしますがご回答よろしくお願いします。
コメントありがとうございます。
2.2用のVAEは公開されていないようですね。ドキュメントに書かれていなかったので、ためしにモデル2.2にVAE2.5を使ってみました。そして発色が良くなることを確認できました。
ですのでモデル2.2を使う場合でも、VAEは2.5で大丈夫だと思います。
こちらの記事でVAE変更することができました！ありがとうございます！
わざわざコメントくださってありがとうございます。めちゃくちゃ嬉しいです( ；∀；)。
画像生成楽しんでくださいね。