前回投稿の続きになります。
※追記めっちゃ画像削られています。なんで…
とりあえず雰囲気だけでも感じ取ってください
前回はこちら https://www.seaart.ai/ja/articleDetail/d10euhde878c73diirr0?u_code=F9ASKNEO
前回から色々とLoRAを作って試していましたが、6枚じゃfull bodyになるとパワードスーツを着るので9枚(ポートレート3枚、上半身3枚、全身３枚)で作成したLoRAを試していこうと思います。
そして大事なことをはっきりと述べていなかったので記載。
目指すLoRA
1.トリガーワード(キャラ名)を入れることでそのキャラを再現できるLoRAを作る
LoRAを入れるだけでは再現性はあまりない方がいい(理由は次に)
またキャラを構成するプロンプトの短縮も目的。
2.後々は複数人のキャラを描写させたいので、トリガーワードのみでキャラを作成でき、もう１人はプロンプトなり別キャラLoRAを使用 するかだが、どちらにせよ混ざらないのが理想。（なのでLoRAだけ入れて出てくるキャラが同じ顔になるのは防ぎたい）
２番は難しいとは思っていますが、まぁ希望としてということで。
どちらにせよ私の運用としては、キャラLoRAではですがトリガーワードでキャラを呼び出すことが目的です。LoRA入れるだけでの運用は考えておりません。
そしてタグ付けのルールですが、まずは今回使用した画像9枚は
以上９枚になります。このキャラの特徴として
blue eyes, blond hair, short hair, straight hair, orange lips, large ***, long legs,
以上7つとします。
そして比較LoRAとして
1.学習時上記特徴のみをタグ付けしたものを作成。最終LoRA(エポック15なら15番目)とサンプル画像が特徴を捉えてるLoRA
(似ているの?りならエポック10)のLoRAを2つ比較対象として使う
描写されていない部分がある画像(ポートレートだと胸や脚が映っていないもの)のタグは、その部位のタグは外しておく
タグの順番は
トリガーワード, 1girl, solo, blue eyes, blond hair, short hair, straight hair, orange lips, large ***, long legs
2.学習時上記特徴を外してタグ付けしたものを作成。最終LoRA(エポック15なら15番目)とサンプル画像が特徴を捉えてるLoRA
(似ているの?りならエポック10)のLoRAを2つ比較対象として使う
タグの順番は
トリガーワード, 1girl, solo, serafuku, (構図系,full body やupper body等), (同じく構図系, from sideやfrom above等), (視線系,looking atviewerやlooking ahead等), 表情系, white background,
他は共通
使用モデルはNova Anime XLで、他LoRAはテスト画像生成時はもちろん、学習画像を生成時の時も使用しておりません。
生成時のプロンプトは
(ここだけ1girlを入れたり変更する箇所), BREAK unity 8k wall aper, 8K, ultra detailed, detailed face, beautiful detailed eyes,
ネガティブプロンプトも固定。今回はSeedも固定(100000000)。2つのLoRAで4枚画像を生成していき、貼ります。順不同で。
解像度は1024x1024、LoRA強度は1.0にしています。
そしてLoRA未使用で変更箇所は空白にしている場合だと
かっこいいおじさん?り。これはこれでいいんですが何も記載しないとおじさんが描写されることはわかりました。
このSeedだけかもしれませんが、渋おじ強めのモデルなのかもしれません。そして金髪率50％。
ではレッツ作成。
まずはプロンプトを空白でLoRAのみで表示。特徴のみのLoRA
6割女性、前回ではなかなか崩れなかった碧眼が２枚変わっています。目すら反映されていないのはなかなかないですね。絵柄は８枚中２,3枚くらいしか反映されていません。
次は特徴外しのLoRA
こちらは碧眼は崩れず。orange lipsを入れているせいか性別が不明なキャラもちらほら。絵柄も2～4枚ほどは学習画像に寄っている。
特徴的にはどちらも似たようなものと判断するか、前回もなかなか崩れなかった碧眼が変わっている分、特徴外しの方が反映されているとするのか微妙なところ。
次は1girlのみのプロンプト。特徴のみのLoRAから
意外にも碧眼ではないものが3枚もありました。髪の長さが違うものが4枚、髪色は特徴通り。唇も特徴通りと言えそう。胸はわかる画像が２枚しかないので、脚に至っては0枚。全身構図を1/3入れていても表示されにくいのはLoRAが原因か、モデルが原因か、はたまた生成AI自体そういうものなのか。
次は特徴外しのLoRA
すべて碧眼、髪型も1つのみで他はショート、髪色と唇はライティングの加減で微妙なラインですがすべて特徴を満たしていると言えそうです！比較してやっと初めて違いらしい違いがでて嬉しいです。ただ1girl。タグ付けで２つ目にしているので1girlにもキャラの特徴が紐づけられていそうですね。
次はsoloのみ。いつも通り特徴のみのLoRAから
絵柄は完全にモデルより、すべて男性、金髪率は高め、唇はオレンジ、要素単体で見ていくと反映されてはいますが1girlと比べるとかなり
モデルより(性別、絵柄含めて)になっていると思われます。soloタグの画像学習率は大分低そうです。
次は特徴外しのLoRA
こちらも単体の要素を見ていけば、唇は緑のやつすら片方は反映されたりしていますが、全体の雰囲気として1girlと比べるとかなりモデルよりになってると言えそうです。
次はBebebe(トリガーワード)のみ。特徴のみのLoRAから
アメコミに出てきそう…マッチョの胸はlarge ***になるのかな…？絵柄はおいておいても、出したいキャラの感じが出ているのは1/8です。実用には耐えられそうにない出来ですね。
唇の色は結構反映されていますが、碧眼すら半分も反映されていませんね。髪すらないのが半分ですし、単体の特徴としても弱い感じ。
次は特徴外しのLoRA
こちらもアメコミ風。2/8で思っているキャラは出てきていますが枚数こなすと特徴のみとそう変わらない気がします。
こちらも希望通りの実用には耐えられなさそうです。
次はBebebe, 1girl, 特徴のみのLoRAから
トリガーワード単体よりももちろん希望のキャラ描写には近づいているのですが、正直1girlだけの方が近いと思います。
碧眼率、髪型（長さ含む）は半分以下、唇はやや赤？が多い。
ただよくわかりませんが胸を含む構図がかなり増えています。Bebebeだけでも構図だけで言えば胸は見える構図多いのでトリガーワードが構図を学習している可能性がある？よくわかりません。
とりあえず次。特徴外しのLoRAの場合
こちらもBebebeのみよりはるかに目的のキャラを描写してくれていますが、特徴のみと同様に1girlだけの方が服装含めて近いです。
あと唇が赤いものが３枚もでてきました。
次はfull body, Bebebe, 1girl, これは以前はパワードスーツばっかりでしたが
特徴のみのLoRA
ちょっと脚の長さが足りない気もするけど、比較対象ないとわかりにくいですね。
顔がガビっているのでそのあたりの特徴の判断は不明。パワードスーツはやっぱり着ています。顔が出ているものは金髪要素はあり、髪の長さもショートです。一応半分は顔を出そうとしているので前よりかはよくなっています(前はパワードスーツかロボットかわからないものが100%)
次は特徴外しのLoRA
間違い探しレベルで同じです。同じLoRAでしたのかと思いましたがそれも合っていました。つまりLoRAの影響はほぼない？
最後にfull body, 2girls, 1girl is Bebebe, BREAK ther girl, red eyes, black hair, long hair, small breREAK
これは記事を書いていて気付いたのですが、***ther の*** や、***のasts, Bが削られています。(なんで？)
現在進行形の色んな単語が削られる現象の１部かと思われます。ただ画像上は２人映っていたのでとりあえずそのまま載せます。
特徴のみのLoRAから
見事にBebebe要素消えています。強いて言えばlarge ***ですが、これもバグ祭りのせいでプロンプト欠けているだけのような気がします。
次特徴外しのLoRA
もう違いが判らない…一応黄色の服とかは微妙に違いますがほぼ同じと言っていいでしょう。
結果として
1. 9枚程度ではトリガーワードでの呼び出しはできない。当たり前ではあるが学習画像がもっと必要である。
2. トリガーワード, 1girlだとかなり目的のキャラを呼び出せている。補助的には1girlは入れないと運用はできない。ただしそうすると複数人描写の時に1girlでトリガーワードのキャラが出てしまう可能性が高い。1girlでは反応しないようにできるのか？要検証
3. 現状のLoRAでは1girlで呼び出した方が?している。これは元々の1girlのタグにキャラの特徴がのって強化されている感じ。1girl,soloもついでに削るとどうなるのか。要検証
4. full bodyだとLoRAの差はほぼ感じない。LoRA学習時full bodyの画像が少ないのか、要素がわかりにくいためなのか不明。
5. タグ付けと関係ないかもしれないが、やはり全身画像になると顔がガビる。プロンプトで描くとここまでひどくないためLoRAが原因と思われる。クローズアップ画像を入れたり、ポートレート画像を増やしたり色々できることはありそう。要検証
6. 特徴のみと特徴外しの差は９枚じゃさほど感じられないが、強いて言えば特徴外しの方がキャラを描写できているとは思われる。
ただし目的のトリガーワードのみでキャラ描写が誤差レベルで、差が感じられたのが1girlの時のみと実用性には乏しい。
7. 構図や服装は今回入っていようがいまいが差を感じなかった。枚数が足りないのか、そもそもそこまで学習する要素として優先度が低いせいなのか不明
まぁ枚数増やせってことですね。少なくともタグ付けの差は９枚程度じゃ感じられませんでした。
枚数増やしてまた次回。タグ付け面倒なんだよね
