nikke embedding share

nikke-embedding

使用方法：[[(nikkeharran:1):5]::30]

指从5-30步（总计40步）使用训练的embedding。

从第5步开始是为了防止动作僵化，使用立绘训练集很容易炼出一堆站立姿势。

提前10步结束是为了防止过拟合降低图片的质量。

海伦可以直接换晚礼服和泳装，起始步数晚一些就行（[[(nikkehelm:1):10]::40]）

如果使用DDIM采样可以适当把起始步数和结束步数都提高（DDIM训练步数基本是euler a两倍）

爱丽丝是11月初训练的，当时很多方法都不对，已经是历史的垃圾堆了，而且爱丽丝同人图很多可以不用这个方法炼。

Usage: [[(nikkeharran:1):5]::30]

it means use this embedding from 5 to 30 steps.(total 40 steps)

Starting from step 5 can make the composition and action less affected by embedding

End 10 steps earlier to prevent embedding degrading the image quality.

Helen can change into evening dress or swimsuit directly, just start it later ([(nikkehelm:1):10]::40])

If you are using DDIM sampling, the number of starting steps and ending steps should be increased (DDIM training steps are basically twice of Euler a)

Alice was trained at the beginning of November. Its not good enough. Besides, there are many doujin pics of Alice now, others could have provided better embedding file of her.

The following is a tutorial about how I trained. I'm sorry I don't have the energy to translate into English. Futhermore, There is still room for optimization of training parameters, maybe its too early to call it a tutorial.

-------------------------------训练心得-----------------------------

B站给删了3次，人疯了....训练参数的设置还有不少优化空间，仅供参考。

这篇文章略过了训练基础的内容，关于embedding训练入门可以参考B站其他大佬的视频文章。

以下训练都是以7g的animefull-latest模型为基础，产图皆为anythingV3模型。

主要以哈兰训练为例。

1、训练集准备

以哈兰为例，截取游戏内live2d模型(或者立绘）10张左右，尽量保证每张图都有不同表情（同一表情之后脸变不了）。用ps裁剪并缩小成512*512大小，裁剪时注意变换一下镜头远近，如果不太注重服装，可以多截取半身近景（下方海伦就是这么训练）。

如果想看屁股可以放背面图...说实话意义不大。

打开stable-diffusion-webui/textual_inversion_templates/subject_filewords.txt文件

在[name]和[filewords]之间加入你重视的训练角色的特征，可以去danbooru或deepdanbooru(http://dev.kanotype.net:8003/deepdanbooru/)查。[filewords]这一栏就是deepdanbooru自动生成的tag，deepdanbooru按相关度排序tag，会把人物和发型放在最前面，有时候效果不好。

应该有5个选项，第5个选项是deepdanbooru

除了deepdanbooru以外都不建议勾，使用deepdanbooru记得在setting里设置屏蔽掉低相关tag

2、embedding 创建

Vectors per token越低和训练集差距越小（人物越像），泛用性越差(做不了各种动作）

一般训练人物是取训练集图片数*20%，按理说10张图训练应该选2，不过我还是习惯性用了6-10，效果还行，感觉还可以再低点。

3、开始训练

首先在txt2img里设置prompt：[[(nikkeharran:1):5]::30],masterpiece, best quality,1girl, floating ,full body, mecha musume, standing, (beautiful and detailed face), (red long mechanical horns) ,head gear,(shiny grey highleg leotard), large breasts, overskirt, skin tight , white long gloves, fingerless gloves, bare shoulders, black thigh boots, black hair, very long hair, Disheveled hair, wavy hair, blue eyes, mole_under_eye

Steps: 40, Sampler: Euler a, CFG scale: 7

为了最大化embedding效果建议放在prompt开头。

[[(nikkeharran:1):5]::30]是指从5-30步使用训练的embedding。

从第5步开始是为了防止动作僵化，使用立绘训练集很容易炼出一堆站立姿势。

提前10步结束是为了防止过拟合降低图片的质量。

在训练初期可以不加步数限制，后期和使用时加上限制。

训练率我一般从0.01开始，慢慢下降。最大步数建议设低一些，训练到最后会收敛，感觉不够可以接着再训2000步。人物越复杂需要训练步数就越多，海伦我训练了2000步感觉就不错，哈兰4000步了感觉还是不行，过拟合已经很严重了。

训练时的图和实际生成的图对比：

训练时的预览图

实际出图

裙甲部分还是不行，以后再炼炼。

和dreambooth比，像肯定是dreambooth像，但是embedding训练起来更方便，能通过调节权重和位置适应不同动作和服装。

正在研究训练动作，有成果的话还会再来分享的。