(Project Sekai) Hoshino Ichika F.1 Dev LoRA Model

Hoshino Ichika F.1 Dev LoRA Model

A LoRA Model based on the base model FLUX.1 Dev.

I use two different kinds of images for training: Cards (not transparent) and Cutouts (transparent). So the background will be single-color, not flexible, I think. So you can control your background freely, I think.

The Usage

Well, The LoRA can be triggered by the single word 'hoshino ichika', However, I still recommend u to add 'hoshino ichika, long hair, blue eyes (or grey eyes), black hair (maybe 'blue hair' is also ok?)' first to your prompt to make sure the characteristics are correct. (If u use ComfyUI-nunchaku workflows, u even do not need the so-called trigger word) And it's recommend to use tags in the Danbooru Dataset only.

Also, I only tested the case that the weight of the LoRA is 1.25, and I don't really know if lower value can still make the output normal. (You can test it yourself and tell me in the comment area)

In my tests with the help of nunchaku,

I can use the LoRA with the weight of 1. And don't need to add the LoRA file name in the prompt input.

The Introduction of the Character

Sekaipedia

一些基本的训练参数

素材以人物卡面为主（Cards+Cutouts），其中Cutouts是透明的但Cards不是透明的（

训练脚本是直接采用sd-scripts的sd3分支，并受到fluxgym写script的启发，自行手搓脚本和数据设置而成。

考虑到本人笔电配置不佳，所以每次训练的效率不高，并且迄今为止找不到办法有效降低avr_loss的办法 (除了拉高steps，但那样更费时间)，

怎么用这个LoRA

跟正常使用SD 1.5的LoRA一样，用FLUX.1 Dev的底模，然后使用触发词'hoshino ichika'触发LoRA（小提示：如果你采用了跟我一样的ComfyUI-nunchaku工作流去加载这个LoRA的话，甚至连这个所谓的触发词都不用写，直接开始写该角色的主要特征），权重默认为1即可。当然，为了保证角色的基本特征被正确触发（我通过删减一些tags来固定基本的人物特征，实际证明可能没什么太大用处（？）），推荐加上"hoshino ichika, long hair, blue eyes (或者grey eyes), black hair (可能blue hair什么的也行？)"这些特征词，并且尽可能只使用DeepBooru词库的词语。

面临的挑战

这个LoRA由于只是对这个新角色的训练，因此在肢体等一些细节上仍有很大的不足。遗憾的是，f.1并不像sd 1.5那样可以随意加入embeddings来暂时克服肢体问题（可以考虑加入ControlNet来控制图像走向，可能有效果）。我的评价是，反复抽卡吧(

（当然如果你有很好的解决方案可以在评论区指点一下，本人感激不尽x）