記事投稿は初です。宜しくお願い致します。
キャラLoRAを作成する際、先輩方に教えてもらったり、調べたりしているのですが先日チャットAIに聞いた時
「キャラの名前(トリガーワード)を入れるだけでそのキャラを描写したいなら、教師画像にそのタグは全部いれようね」と言われました。
特徴タグ抜くんじゃないの…？と聞き返したところ、場合によるとの返答。
LoRAをビジュアル抽出の道具として使う場合、画像の特徴そのものをLoRAに覚えさせたい(プロンプト不要で再現したい)用途としてはタグを抜く、トリガーワードで特徴を再現する手段としてLoRAを使うなら入れろ。とのこと。
私の場合はトリガーワードでキャラを呼び出す手法を取りたいので、タグは入れなさいということらしいです。
なので検証をしてみようと思います。使ったのは次の6枚。スタミナ的にこの程度で…
タグ以外はすべて共通、トリガーワードはBebebe。繰り返し回数20のエポック数15でステップ数は1800にしました。全部後ろからの構図はどう影響するか見たかったのでわざとこの構図?りにしています。smileさせているのも同様。
このキャラの特徴として
blue eyes, blond hair, short hair, この3つとします。
特徴をタグ付けするLoRAの場合、この画像達のタグは全て同じで
Bebebe, 1girl, solo, blue eyes, blond hair, short hair,
です。構図、服装、表情もこちらは今回抜きました。(チャットAIの理屈上表情を変化させたり、着せ替えする、構図も変えるなら入れない方がいいので)
特徴をタグから抜いた場合のLoRAの場合、下記がタグになります。
Bebebe, 1girl, solo, (構図関連は画像によって異なります、?やfrom above, from below, の3つを画像に組み合わせて入れました。looking backは意図的に抜きましたがportraitは入れ忘れました), serafuku, smile,
eyes あたりは入れるかどうか迷いましたが、今回は抜きます。
そして作成できたLoRAを最終エポックの分と、一番特徴が表れているサンプル画像だったLoRAの計2つを保存、比較していきたいと思います。(ちなみに特徴タグをつけたものはエポック10，特徴タグを外したものはエポック9を採用しています)
生成するにあたって、ネガティブプロンプトは固定
(worst quality, low quality, bad ?:1.2), text, logo, bad mouth, bad eyes, bad hand, watermark, duplicate face, extra face, two heads, extra fingers, missing fingers ,extra arms, missing arms, extra legs, deformed mutated, BREAK (multiple views:1.2), see-through, purple hair, eyes apart, misaligned eyes, inner color, wide-set eyes, (raised eyebrows, straight eyebrows:1.2), ?, (skin-tight clothing, sticky fabric, sticking to skin:1.2),
プロンプトは
(ここだけ変化させていく) BREAK anime style, unity 8k wall aper, 8K, ultra detailed, detailed face, beautiful detailed eyes,
以降プロンプト記載は上記の()の中だけを記載します。使用モデルはNova Anime XL ver.IL8.0です。LoRAは作成したもの以外は使用しておりません。シードはとりあえず固定せずにいきます。
ではレッツ作成。特に指定がない場合、１回で4枚画像を生成し、画像の表示順は最終でないLoRA,最終LoRAの順です。
まずは1girl、特徴タグを付けたLoRAの場合
1枚だけ髪色は違いますが、ほぼ金髪、碧眼、ショートヘヤーになっています。
次は特徴をタグから抜いた方のLoRA
髪型は２枚ほど変わっていますが、試行回数も少ないのでここはなんとも。ただ概ねキャラの特徴はでていると言っていいでしょう。
正直構図すら正面?りなのも意外でした。もっと背面からの画像がでると思っていたのですが。
タグ付けに1girlいれているからそれが学習しているかもしれないので、次は1girlを変更して1mature female,で生成。特徴タグを付けたLoRAから
最終でないLoRAは少し違うものを生成したかな？程度です。青い目だけは健在。目のあたりの学習は髪より強いのでしょうか？
次は特徴タグを外したLoRAで1mature female
髪色、髪型が少し違うのが増えたような気はしますが、気にするほどでもないと思います。相変わらず青い目は強い。学習度合いは顔＞髪なのはほぼ間違いなさそうですね。
今のところあまり差を感じない結果です。次はプロンプトを品質系だけ残して全部消します。(1girlもなにもなし。)特徴タグを付けたLoRA
とうとう男性がでてきました。しかし金髪、青い目、ショートヘヤーは満たしていますね。次は特徴タグを消したLoRAでプロンプトなしの場合
男性2キャラ、服装も制服ではなくなってきてそうです。
タグをつけている方もつけていない方もそうですが、最後のエポックのLoRAの方が当たり前なのですが?して出力しています。
この段階で、差がなくない…？状態です。トリガーワードどころか品質系以外のプロンプトなくとも生成するのなら、もはやこの記事に意味があるのかないのか…
最後にトリガーワードだけをつけて生成。(Bebebeのみ。1girlなどはなし)いつものように特徴タグをつけたLoRA
むしろ荒れだしました。ただまぁ一部違う画像はあっても、基本的には青い目、ショートヘヤー、金髪ではある。あと全体的に男性率があがってきています。どっちかわからないタイプも。
次は特徴タグを外したLoRA
こちらも男性率がかなり高め。というより1枚だけじゃないかな、女性。
髪色も2枚違いますが、青い目は全然崩れない。
ちなみにもう画像は省略しますが、1girl, black hairやred eyesなどのプロンプトを入れるとどちらのLoRAでも普通に黒髪、赤目が表示されました。
以上比較でしたが結果的には
・タグ付け変えてもそこまでの傾向の差はあまり感じられない。つまり学習させたくない箇所等はタグで調整はできないものと考え、教師画像を加工する方がよさそう？
・髪色や髪型は変わることはあっても、目の色は変わらなかったので学習強度的には目＞＞髪。おそらく顔のパーツは強度が強いと考えられる。
・今回はクローズアップ画像を入れていなかったり、そもそも枚数が少ないので枚数が増えてきた場合等はどうなるかは不明。
・トリガーワードを入れると逆に男性率が上がったことから、トリガーワード(Bebebe)は女の子ってことを学習していないと考えられる。1girlはタグから外す方がよい？背面画像?りで胸等わかりやすく女性であるという画像がなかったためこんなことになったのか？要検証
特に1girlはどこのサイトもAIチャットも入れておけってことになっているのでこのあたりは試してみないといけないかもしれない。
試してみて正直あまり参考にならなかったですが…タグ付けにそこまで躍起にならなくても大丈夫かもしれませんね。枚数増えると別かもですが
また気が向いたらテストするかもしれません。
