前回の記事はこちら
https://www.seaart.ai/ja/articleDetail/d19bpkte878c73a***u7g?u_code=F9ASKNEO
※第2回は画像が消えまくっていましたが、今回も同様に画像が消えてた場合は雰囲気だけ感じ取ってください。
自分で納得するために記事を書き始めましたが、とりあえず今回で一区切り予定。
今回使用する教師画像は72枚。さすがに全部は貼れないので一枚だけ貼り、どんなタグを付けたのか簡単に触れようかと思います。
つけたタグは
Bebebe, 1girl, solo, portrait, frontal view, looking at viewer, expressionless, symmetrical face, centered composition, blue eyes, gentle eyes, expressive eyes, sharp eyes, vivid eye highlights, detailed eyelashes, small mouth, pale pink lips, blonde hair, long hair, straight hair, white background, nose, detailed nose, eyebrows, eye-level shot, detailed eyebrows, eyelashes,
以上になります。順番は部位毎にまとめたかったのですが途中でタグ差し込めないんですよね。そして特徴タグとして外すものは
blue eyes, gentle eyes, expressive eyes, sharp eyes, vivid eye highlights, small mouth, pale pink lips, blonde hair, long hair, straight hair,
あと上記の画像では映っていないのでタグにつけていませんがsmall ?も外します。
symmetrical face, centered composition あたりも特徴と言えば特徴ですが、外すよりつけている方が?するのでつけています。noseやeyebrows, eyelashes関連は特に学習画像生成時もプロンプトに指定していませんが、実際きちんと映っていますし、タグに入れる場合と入れない場合では?性が違いますので入れております。（所謂固定したい特徴を外すマルゼン式と呼ばれるものでも、可変にしたい部分等はタグに入れているので、変える変えないは別にしてタグに含める分には問題ありません。鼻や眉毛が特徴的な場合は別です）
もちろん上記のタグ以外は両方つけており、特徴タグを付けたLoRAと外したLoRAを比較していきます。
(条件はすべて揃えた上でLoRAを作成し、タグのみ変更をしています。)
Repeat(繰り返し数)3, Epoch(エポック数)14で、Epoch14のものを保存して使用しております（あんまりログ見る限りlossは収束しておりません）
生成時はネガティブプロンプトは全消し、プロンプトは品質プロンプトも省略しています。なので比較時に決めたプロンプトのみになります。生成は4枚一度に生成し、Seed値は固定で100,000,000と200,000,000を使用します。(値に特に意味はありません。多少の荒れ程度はそのまま載せますが、2つ頭や????画像が出た場合は省略します。表示順は100,000,000→200,000,000)
LoRAは比較するLoRAのみを使用。使用LoRAのStrengthは特に何も書いていない時は0.5で使用しております。
ではレッツ作成。品質プロンプトもないのでまずは 1girl, のみからですが初めだけStrength1.0で作成します。まずは特徴タグ付きから
次は特徴外しLoRA
いきなり2枚????に引っかかりました。1girlは生成時引っかからなかったですが、それ以降はネガティブに????入れておきます。
比較として、特徴タグを付けている方が顔のクローズアップ画像が多い印象。逆につけていない方がupper bodyのような引きの画像が多い印象です。
特徴タグ自体が顔回り関連(が多いからか、そちらに引っ張られている可能性はありそうです。そして顔クローズアップ画像だとやはり崩れやすいです。これはLoRA関係なくモデルのみでもその傾向はありますが、LoRA自体にまだクローズアップ画像、もしくはポートレート画像辺りが足りないのかもしれません。
ただ個人的に今までの失敗を見てきた分、これでも相当ましにはなっております。
(顔アップでも崩れないLoRA作ってる方は素晴らしい)
さて次はStrengthを0.5まで下げて、同様に生成していきます(ここまではネガティブに????を入れておりません)。プロンプトは同様に1girl, のみ
特徴タグ付きから
small ?は？それ以外は問題なさそうです。
次は特徴タグを外したもの
small ?は？
Strengthを下げても、特徴タグを付けている方は顔アップがやはり多い。ただし崩れ方は若干怪しい部分もあるが概ね良好かなといった印象。特徴タグ外しはそもそも顔アップがありません。
プロンプトを1girl, (Bebebe:0.5)に変えても、(Bebebe:0.5)に変えても似たような結果なので(Bebebe:0.5)で生成した場合を1枚ずつだけ比較。
始めの2枚が特徴タグ付き、後ろ2枚が特徴タグ外し。付いている方がアニメ調、外した方が写実よりになっています。理由は不明ですが特徴という意味では差を感じません。
あと(Bebebe:0.5)のSeed200,000,000の特徴付の方だけ明らかに違うキャラがでました。
一枚だけなので言い切れはしませんが、特徴タグを付けている方がキャラクターを固定する力は弱い可能性はあります。
さて次は(face close-up), 1girl,で描写。特徴タグを外したものは頑な？に顔に寄せなかったのでどうなるか。まずは特徴タグ付きから
なぜか1枚弾かれました(目玉はなし) それはそれとして目力よ…なんでこんなにかっぴらいているんだろう。
ちょっと目の間隔が開き気味なのと、頬っぺた（口？）周辺が怪しいところですが、判定は甘めですが概ね…まぁ、良好。構図を指定して上げた方が1girlとかの顔アップよりかは?していますね。
次は特徴タグ外しの場合
目力は一緒…鼻が特に写実よりにはなっていたり、口と鼻の位置が微妙にずれたりしています。特徴付もそうですが横顔は割と整っているのに対して、正面が崩れやすいです。
外している方が配置が少し気になりますが、目の離れ方は特徴付の方が離れている気がします。顔アップだと差が出るかと思いましたが意外とそうでもないですね
長くなりそうなので後半へ続けます
