MENU
\ ポイント最大46倍! /

【初心者向け】Loraの使い方について!!

こんにちは、画像生成AIでひたすら猫のイラストを生成している猫大好きおじさんこと、じょじお(@jojio‗illust)です。

今回もStable Diffusionの記事です。

前回の記事でTxtual Inversionという追加学習の仕組みを使ったEasyNegativeという便利なファイルを使って、高品質な絵を生成する方法について紹介しました。

この記事では、最近流行の追加学習の方法であるLoRaファイルを使う方法について紹介したいと思います。

\楽天ポイント4倍セール!/
楽天市場

▲AI画像の大量ファイルをプロンプトと一緒に簡単に整理する方法はこちら。

素材に関連する英単語100個以上まとめました。

すべてのプロンプト関連記事はこちらにまとめています。

▲Midjourneyユーザー向け。専用Discordサーバーを作って画像生成作業を効率化する方法。

目次

LoRaとは?

LoRaは、「追加学習の方法」、あるいは「LoRaによって追加学習したファイル」のことをいいます。

追加学習の方法には、下記の3つがあります。

  • Textual Inversion
  • Hypernetworks
  • LoRa

一般的に追加学習は、通常の画像生成よりもPCのスペックを求められるらしいのですが、その中でもLoRaは、スペックがそこまでリッチではないマシンでも学習させることができます。

このため、モデルのダウンロードサイトでは、LoRaファイルは比較的簡単に見つけることができ、人気であることがわかります。

この記事ではLoRaでの学習方法については取り扱いません。LoRaで学習したファイルを使いたい人向けの記事です。

LoRaファイルを使うメリット

Stable Diffusion LoRaなし
LoRa適用なし
Stable Diffusion LoRaあり
LoRa適用あり

LoRaファイルを使うことで、いつものモデルに、いつもとは違ったスパイスを加えて画像生成を行うことができます。

AIコスプレイヤー

最近Twitterで話題になったAIコスプレイヤーも、LoRaとモデルファイルを組み合わせて実現しているようです。

LoRaの種類

モデルのダウンロードサイトでもあるCIVITAIを見ると、LoRaにもいろいろな種類があることがわかります。

勝手に下記の3つに分類してみました。下記の名称は私が勝手に呼んでいる名称なので一般的かどうかはわかりません。

キャラLoRa

特定のキャラクターや芸能人の顔になるように追加学習させたLoRaファイルです。

ポーズLoRa

ある特定のポーズをするように追加学習させたLoRaファイルです。

キャラクターのポーズに影響を与えるLoRaです。

背景LoRa

ある特定の背景になる追加学習させたLoRaファイルです。

LoRaファイルの探し方

WebUIなら下記の手順でLoRaファイルをかんたんに使うことができます。

  • Hugging FaceCIVITAIなどでLoRaファイルをダウンロード。
  • 特定のフォルダにLoRaファイルを保存します。
  • プロンプトにLoRaファイルに紐づいた「トリガーワード」を含めて画像を生成します。

CIVITAIでLoRaファイルのだけを抽出して閲覧する方法

ここからはCIVITAIで公開されているLoRaをダウンロードしてみます。

CIVITAIとは何かについては下記の記事をご覧ください。

CIVITAIでLoRaファイルの表示方法
CIVITAIでLoRaファイルの表示方法

CIVITAIにアクセスして、画面右上のフィルタアイコンをクリックして、「LoRa」タグに絞ります。

CIVITAIでLoRaファイルの表示方法
CIVITAIでLoRaファイルの抽出結果

▲LoRaファイルに絞って探すことができます。

LoRaファイルのダウンロード

私も一つダウンロードしてみました。

試してみたファイルは下記です。

Android 18 LoRa(人造人間18号の画像を学習したLoRa)

CIVITAIでLoRaファイルのダウンロード
https://civitai.com/models/7805/android-18-dragon-ball-lora

▲ドラゴンボールの人造人間18号の画像を広く学習させたLoRaファイルです。

これを他のモデルと組み合わせれば、あたかも18号のコスプレをしているかのようなAIコスプレイヤー画像が生成できます。

LoRaファイルの情報を確認しよう。

ライセンスやベースモデルファイル、使い方などの情報を確認します。

確認方法は下記の記事をご覧ください。

トリガーワードを確認しよう。

CIVITAIでLoRaファイルのトリガーワードの確認方法
CIVITAIでLoRaファイルのトリガーワードの確認方法

LoRaファイルは、インストールしただけでは適用できません。

LoRaファイルを有効化するためのトリガーワードというものが存在します。

これはファイルによって異なりますので、「Trigger Words」の部分(上図)を確認してみてください。

今回私がダウンロードするファイルのトリガーワードは「android 18」のようです。

▲サンプル画像がある場合はそちらも確認しましょう。「i」マークをクリックするとPNGInfoを見ることができます。プロンプト・モデル・サンプラーなどのパラメータを確認できます。

ダウンロードしよう。

ひととおり情報が確認できたところでダウンロードしましょう。

CIVITAIでLoRaファイルのダウンロード方法
CIVITAIでLoRaファイルのダウンロード方法

▲ダウンロードボタンでダウンロードします。

おそらく「.safetensors」という拡張子のファイルがダウンロードできた方と思います。

もし、ダウンロードの時にサインインを求められたら、CIVITAIにサインインしてください。

ダウンロードファイルを設置しよう。

ダウンロードしたファイルは下記の決められたフォルダに格納します。

(インストールフォルダ)\stable-diffusion-webui\models\Lora

(インストールフォルダ)の部分は、WebUIのインストールフォルダです。皆さんがWebUIをインストールした場所によって異なりますので読み替えてください。

▲このように設置しましょう。私はLoRaを使っているのでいくつかファイルがあります。

LoRaファイルを適用して画像生成してみよう。

WebUIの花札アイコン
WebUIの花札アイコン

▲WebUIを起動して、Genarateボタンの花札アイコンをクリックします。

▲花札アイコンのボタンを押すと、各種追加学習ファイルを表示する領域が開きます。「LoRa」タブをクリックします。

▲LoRaファイルの一覧が開くので使用するLoRaファイルをクリックします。するとプロンプト入力ボックスにLoRaファイルを有効化するワードが挿入されます。

<lora:android18DragonBall_one:1>

▲挿入された有効化ワード。うまく挿入できない場合は、テキストボックスを一回クリックしてアクティブにしてからもう一度やってみてください。

best quality, ultra high res, (photorealistic:1.4), 16k, <lora:android18DragonBall_one:1>, android 18, blonde hair, blue eyes, short hair, denim jacket, earrings, black shirt, look down on viewer, looking away

▲有効化ワードに、さらにトリガーワードの「android 18」を使って、プロンプトを組んでみました。これで画像生成してみたいと思います。

生成した画像の比較

LoRaなし:LoRa適用あり:best quality, ultra high res, (photorealistic:1.4), 16k, android 18, blonde hair, blue eyes, short hair, denim jacket, earrings, black shirt, look down on viewer, looking away
Negative prompt: EasyNegative, illustration, oil painting, paintings, sketches
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3558557911, Size: 512×752, Model hash: 0ff127093f, Model: Basil_mix_fixed
LoRa適用あり:best quality, ultra high res, (photorealistic:1.4), 16k, <lora:android18DragonBall_one:1>, android 18, blonde hair, blue eyes, short hair, denim jacket, earrings, black shirt, look down on viewer, looking away
Negative prompt: EasyNegative, illustration, oil painting, paintings, sketches
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3558557911, Size: 512×752, Model hash: 0ff127093f, Model: Basil_mix_fixed

←左がLoRaなし 右LoRa適用→

LoRaファイルを有効化する場合と、使わない場合の画像で比較してみました。上が生成結果です。

LoRaのない方は、「shorthair」というオーダーのとおり、確かにショートヘアーではあるのですが18号という感じが全然しません。コスプレ感もなく「普通の綺麗なお姉さん」といった感じです。

一方、LoRa適用画像の方は、18号のヘアスタイルを完全に再現していました。この特徴的な分け目のヘアスタイルは、18号をしらないと再現できないかと思います。

使ってみた感想

プロンプトの調整は結構むずかしいです。最初は上のような微妙な画像が何枚も出力されて、15分くらいプロンプトの調整に苦労しました。

LoRaに関するエラーやトラブルシュート

LoRaフォルダがない。

WebUIのバージョンが古い可能性があります。アップデートしてみてください。

WebUIはアップデート時にエラーが起こることがあるので自己責任でお願いします。

LoRaの効果を感じることができない。

トリガーワードはひとつではない場合もあります。LoRaが公開されているページのディスクリプションを確認してみてください!

LoRaの影響度が強すぎる・弱すぎる
LoRaタグの数字を調整してみてください。タグの数字の推奨レンジはディスクリプションから確認できることが多いです。

例:<lora:shuimobysimV3:0.7> → <lora:shuimobysimV3:0.5> とか <lora:shuimobysimV3:1.2>
LoRaファイルを使わない時はどうすればいい?

トリガーワードをプロンプトに含めなければいいだけです。

永続的に使わない場合は、ファイルを削除します。

Google Colab版のWebUIでLoRaは使えますか?

同じようにLoRaフォルダに置いて使います。Colabのセットアップ方法は下記の記事を参考にしてください。

LoRaファイルはどのモデルで使える?

LoRaファイルによって異なりますのでディスクリプションを確認してください。

特に明記がない場合は、サンプル画像やユーザーの生成画像をヒントにしながら試すしかないです。

基本的にLoRaファイルのベースモデルでは動くはずです。ベースモデルはCIVITAIであればダウンロードボタンの下の「Base Model」から確認できます。

▲無料クラウド(Google Colab)を使えば、貧弱PCでもStable Diffusionできるという話。

まとめ

以上、LoRaファイルの使い方について紹介しました。

じょじお

この記事が参考になりましたらシェアボタンからシェアお願いします!!!

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメント一覧 (22件)

  • 何度も質問すみません。
    ダウンロードしたLoRAで効果があるものとないものがあり、ない場合、以下のようなエラーメッセージが表示されます。
    activating extra network lora with arguments []: AssertionError
    Traceback (most recent call last):
    File “/content/gdrive/MyDrive/sd/stable-diffusion-webui/modules/extra_networks.py”, line 75, in activate
    extra_network.activate(p, extra_network_args)
    File “/content/gdrive/MyDrive/sd/stable-diffusion-webui/extensions-builtin/Lora/extra_networks_lora.py”, line 23, in activate
    lora.load_loras(names, multipliers)
    File “/content/gdrive/MyDrive/sd/stable-diffusion-webui/extensions-builtin/Lora/lora.py”, line 214, in load_loras
    lora = load_lora(name, lora_on_disk.filename)
    File “/content/gdrive/MyDrive/sd/stable-diffusion-webui/extensions-builtin/Lora/lora.py”, line 185, in load_lora
    assert False, f’Bad Lora layer name: {key_diffusers} – must end in lora_up.weight, lora_down.weight or alpha’
    AssertionError: Bad Lora layer name: lora_te_text_model_encoder_layers_0_mlp_fc1.hada_w1_a – must end in lora_up.weight, lora_down.weight or alpha

    何が原因でLoRAが効かないのでしょうか。

  • LyCORISファイルを使用しなければ画像生成はできますので、しばらくは更新されるのを待とうと思います。
    今回も色々と調べていただきとても助かりました。

    • いえいえ、記事の内容について意見言っていただけるのは、こちらとしてもすごく助かっているんです。今後も何かあればお気軽にどうぞ。

  • Google Colab用のAutomatic1111 WebUIを利用してるのですが、
    Extensions / Installed 内のLora はしっかりbuilt-in されているのですが、いわゆる”花札アイコン”を押しても、”Lora”の項目だけ表示されません。
    この項目を表示させるにはどうしたらよいのでしょうか?

    ドライブのLoraフォルダにはloraのファイルが入っています。
    Tex~, Hyper~, Check~は表示され、またCheck~内には使用してるモデルも表示されています

    • こんにちは。
      私もその現象なったかも。私の時はプラグインインストールしたら、LoRa以外も見れなくなりましたのでプラグインを削除しました。
      あと一時的な不具合もたまにあります。この場合再起動で治ります。
      もし、エラーがでてるならコピペしてもらえれば何かわかるかもです。

  • 返信ありがとうございます。
    Extensionsの項目を何度か試しているときに、このようなエラーメッセージが発生していました。
    ——————————————————
    (略)
    API error: GET: https://c517469a7623f6881a.gradio.live/file=javascript/progressbar.js?1681109652.0 {‘error’: ‘HTTPException’, ‘detail’: ‘Not authenticated’, ‘body’: ”, ‘errors’: ”}
    Closing server running on port: 7860
    Restarting UI…
    Error loading script: lora_script.py
    Traceback (most recent call last):
    File “/content/gdrive/MyDrive/sd/stable-diffusion-webui/modules/scripts.py”, line 256, in load_scripts
    script_module = script_loading.load_module(scriptfile.path)
    File “/content/gdrive/MyDrive/sd/stable-diffusion-webui/modules/script_loading.py”, line 11, in load_module
    module_spec.loader.exec_module(module)
    File “”, line 850, in exec_module
    File “”, line 228, in _call_with_frames_removed
    File “/content/gdrive/MyDrive/sd/stable-diffusion-webui/extensions-builtin/Lora/scripts/lora_script.py”, line 42, in
    torch.nn.Linear.forward = lora.lora_Linear_forward
    AttributeError: module ‘lora’ has no attribute ‘lora_Linear_forward’

    Running on public URL:**********

    エラーメッセージにloraとあるので、この辺りだと思われるのですが・・・。

  • 今ノートブックを更新し試してみた所、無事loraの項目が復活(自分的には初登場ですが)しました。
    ちゃんと適用もされているみたいです。
    ありがとうございました。

コメントする

CAPTCHA


目次