您现在的位置是:首页 > AI

几周真人lora的训练心得。

2024-07-15 14:51:38

结对照片训练得出了一些心得,放在这里大家一起讨论。
1)真人训练没什么神秘的地方,现在谁也没有办法训练的非常像,只能说差不多像或者有点像。如果你训练明星有点像就成功了,如果你训练家人,有点不像就是失败!
2)目前真人训练只能训练半身照(civitai就没有全身照的成功案例),全身照放1~2张即可,放多了不仅没有用,还会对半身照的成像效果有重大影响(脸扭曲了)。
算法不重要!算法不重要!算法不重要! 重要的说三遍,无论8bit lion 还是自动适应,只要能收敛就行,但是过度收敛会过拟合。
人不是动画,也不需要正则化。
那重要的是什么,
1)材料!!半身照的大头像一定要清晰,不清晰的全身照影响训练效果。所以尽量都是半身照就行。
2)tap,打标签一定要注意,就是衣服特征多打标签,面部特征少打标签,原因你懂得。
3)抠图,这是最重要的,既然要训练人,一定要把背景抠掉。这是事半功倍最重要的原因。不扣背景上来12%的loss,扣了之后一开始训练就是6~8%,而且算法会把所有精力用在人体拟合上。你又不要背景拟合,岂不美哉?