【初心者向け】Loraの使い方について！！
こんにちは、画像生成AIでひたすら猫のイラストを生成している猫大好きおじさんこと、じょじお（＠jojio‗illust）です。
今回もStable Diffusionの記事です。
前回の記事でTxtual Inversionという追加学習の仕組みを使ったEasyNegativeという便利なファイルを使って、高品質な絵を生成する方法について紹介しました。
この記事では、最近流行の追加学習の方法であるLoRaファイルを使う方法について紹介したいと思います。
ポチップ
▲AI画像の大量ファイルをプロンプトと一緒に簡単に整理する方法はこちら。
▲素材に関連する英単語100個以上まとめました。
▲すべてのプロンプト関連記事はこちらにまとめています。
▲Midjourneyユーザー向け。専用Discordサーバーを作って画像生成作業を効率化する方法。
LoRaとは？
LoRaは、「追加学習の方法」、あるいは「LoRaによって追加学習したファイル」のことをいいます。
追加学習の方法には、下記の3つがあります。
- Textual Inversion
- Hypernetworks
- LoRa
一般的に追加学習は、通常の画像生成よりもPCのスペックを求められるらしいのですが、その中でもLoRaは、スペックがそこまでリッチではないマシンでも学習させることができます。
このため、モデルのダウンロードサイトでは、LoRaファイルは比較的簡単に見つけることができ、人気であることがわかります。
この記事ではLoRaでの学習方法については取り扱いません。LoRaで学習したファイルを使いたい人向けの記事です。
LoRaファイルを使うメリット
LoRaファイルを使うことで、いつものモデルに、いつもとは違ったスパイスを加えて画像生成を行うことができます。
AIコスプレイヤー
最近Twitterで話題になったAIコスプレイヤーも、LoRaとモデルファイルを組み合わせて実現しているようです。
LoRaの種類
モデルのダウンロードサイトでもあるCIVITAIを見ると、LoRaにもいろいろな種類があることがわかります。
勝手に下記の3つに分類してみました。下記の名称は私が勝手に呼んでいる名称なので一般的かどうかはわかりません。
キャラLoRa
特定のキャラクターや芸能人の顔になるように追加学習させたLoRaファイルです。
ポーズLoRa
ある特定のポーズをするように追加学習させたLoRaファイルです。
キャラクターのポーズに影響を与えるLoRaです。
背景LoRa
ある特定の背景になる追加学習させたLoRaファイルです。
LoRaファイルの探し方
WebUIなら下記の手順でLoRaファイルをかんたんに使うことができます。
- Hugging FaceやCIVITAIなどでLoRaファイルをダウンロード。
- 特定のフォルダにLoRaファイルを保存します。
- プロンプトにLoRaファイルに紐づいた「トリガーワード」を含めて画像を生成します。
CIVITAIでLoRaファイルのだけを抽出して閲覧する方法
ここからはCIVITAIで公開されているLoRaをダウンロードしてみます。
CIVITAIとは何かについては下記の記事をご覧ください。
▲CIVITAIにアクセスして、画面右上のフィルタアイコンをクリックして、「LoRa」タグに絞ります。
▲LoRaファイルに絞って探すことができます。
LoRaファイルのダウンロード
私も一つダウンロードしてみました。
試してみたファイルは下記です。
Android 18 LoRa（人造人間18号の画像を学習したLoRa）
▲ドラゴンボールの人造人間18号の画像を広く学習させたLoRaファイルです。
これを他のモデルと組み合わせれば、あたかも18号のコスプレをしているかのようなAIコスプレイヤー画像が生成できます。
LoRaファイルの情報を確認しよう。
ライセンスやベースモデルファイル、使い方などの情報を確認します。
確認方法は下記の記事をご覧ください。
トリガーワードを確認しよう。
LoRaファイルは、インストールしただけでは適用できません。
LoRaファイルを有効化するためのトリガーワードというものが存在します。
これはファイルによって異なりますので、「Trigger Words」の部分（上図）を確認してみてください。
今回私がダウンロードするファイルのトリガーワードは「android 18」のようです。
▲サンプル画像がある場合はそちらも確認しましょう。「i」マークをクリックするとPNGInfoを見ることができます。プロンプト・モデル・サンプラーなどのパラメータを確認できます。
ダウンロードしよう。
ひととおり情報が確認できたところでダウンロードしましょう。
▲ダウンロードボタンでダウンロードします。
おそらく「.safetensors」という拡張子のファイルがダウンロードできた方と思います。
ダウンロードファイルを設置しよう。
ダウンロードしたファイルは下記の決められたフォルダに格納します。
(インストールフォルダ)\stable-diffusion-webui\models\Lora(インストールフォルダ)の部分は、WebUIのインストールフォルダです。皆さんがWebUIをインストールした場所によって異なりますので読み替えてください。
▲このように設置しましょう。私はLoRaを使っているのでいくつかファイルがあります。
LoRaファイルを適用して画像生成してみよう。
▲WebUIを起動して、Genarateボタンの花札アイコンをクリックします。
▲花札アイコンのボタンを押すと、各種追加学習ファイルを表示する領域が開きます。「LoRa」タブをクリックします。
▲LoRaファイルの一覧が開くので使用するLoRaファイルをクリックします。するとプロンプト入力ボックスにLoRaファイルを有効化するワードが挿入されます。
<lora:android18DragonBall_one:1>▲挿入された有効化ワード。うまく挿入できない場合は、テキストボックスを一回クリックしてアクティブにしてからもう一度やってみてください。
best quality, ultra high res, (photorealistic:1.4), 16k, <lora:android18DragonBall_one:1>, android 18, blonde hair, blue eyes, short hair, denim jacket, earrings, black shirt, look down on viewer, looking away▲有効化ワードに、さらにトリガーワードの「android 18」を使って、プロンプトを組んでみました。これで画像生成してみたいと思います。
生成した画像の比較
Negative prompt: EasyNegative, illustration, oil painting, paintings, sketches
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3558557911, Size: 512×752, Model hash: 0ff127093f, Model: Basil_mix_fixed
Negative prompt: EasyNegative, illustration, oil painting, paintings, sketches
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3558557911, Size: 512×752, Model hash: 0ff127093f, Model: Basil_mix_fixed
←左がLoRaなし 右LoRa適用→
LoRaファイルを有効化する場合と、使わない場合の画像で比較してみました。上が生成結果です。
LoRaのない方は、「shorthair」というオーダーのとおり、確かにショートヘアーではあるのですが18号という感じが全然しません。コスプレ感もなく「普通の綺麗なお姉さん」といった感じです。
一方、LoRa適用画像の方は、18号のヘアスタイルを完全に再現していました。この特徴的な分け目のヘアスタイルは、18号をしらないと再現できないかと思います。
使ってみた感想
プロンプトの調整は結構むずかしいです。最初は上のような微妙な画像が何枚も出力されて、15分くらいプロンプトの調整に苦労しました。
LoRaに関するエラーやトラブルシュート
- LoRaフォルダがない。
-
WebUIのバージョンが古い可能性があります。アップデートしてみてください。
WebUIはアップデート時にエラーが起こることがあるので自己責任でお願いします。
- LoRaの効果を感じることができない。
-
トリガーワードはひとつではない場合もあります。LoRaが公開されているページのディスクリプションを確認してみてください！
- LoRaの影響度が強すぎる・弱すぎる
-
LoRaタグの数字を調整してみてください。タグの数字の推奨レンジはディスクリプションから確認できることが多いです。 例：<lora:shuimobysimV3:0.7> → <lora:shuimobysimV3:0.5> とか <lora:shuimobysimV3:1.2>
- LoRaファイルを使わない時はどうすればいい？
-
トリガーワードをプロンプトに含めなければいいだけです。
永続的に使わない場合は、ファイルを削除します。
- Google Colab版のWebUIでLoRaは使えますか？
-
同じようにLoRaフォルダに置いて使います。Colabのセットアップ方法は下記の記事を参考にしてください。
- LoRaファイルはどのモデルで使える？
-
LoRaファイルによって異なりますのでディスクリプションを確認してください。
特に明記がない場合は、サンプル画像やユーザーの生成画像をヒントにしながら試すしかないです。
基本的にLoRaファイルのベースモデルでは動くはずです。ベースモデルはCIVITAIであればダウンロードボタンの下の「Base Model」から確認できます。
▲無料クラウド（Google Colab）を使えば、貧弱PCでもStable Diffusionできるという話。
まとめ
以上、LoRaファイルの使い方について紹介しました。
じょじおこの記事が参考になりましたらシェアボタンからシェアお願いします！！！
コメント