本教程以图文形式详细展示了Lora训练过程,即使是AI新手也能轻松上手。掌握这个技能,你将能够有效地训练和优化自己的Lora模型,为AI应用开发提供强大支持。LoRA模型是一种“聪明”的方法,用来微调(也就是“调教”)现有的大型AI绘图模型,让它们更适合我们特定的需求。
为什么要用LoRA模型?
LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models,可以理解为stable diffusion、Comfyui模型的一种插件,和controlNet一样,都是在不修改SD模型的前提下,利用少量数据训练出一种画风/IP/人物,实现定制化需求,所需的训练资源比训练SD模要小很多,非常适合社区使用者和个人开发者。假设我们有一个已经很厉害的AI绘图工具,它可以画各种各样的图,但是我们想让它在某些方面表现得更好,比如画某种特定风格的画,或者在某种特定的场景下画得更细致。要做到这一点,如果直接重新训练整个模型,不仅耗时耗力,还需要很多计算资源。而LoRA模型的“聪明”之处在于,它只调整一小部分关键参数,这样既能达到微调效果,又能节省大量时间和计算资源。
Lora 模型训练器
想要训练 Lora 我们就需要有 Lora 训练器,一般称为“丹炉”
本次推荐的丹炉还是B站秋叶大佬制作的 Lora 训练器,使用起来非常的方便易上手,本期教材就教大家如何在电脑上安装 Lora 训练器
1.下载Lora训练工具
如前文所述,训练工具基于秋叶大佬开发的SD-Trainer,该工具简单易上手,基本能满足我们日常的训练需求。下载链接见下方,根据教程步骤一键安装使用即可。
解压压缩包
然后把压缩包解压即可。解压完成后进入文件,我们点击强制更新-国内加速
2、准备素材集
2.1 收集素材图片
素材集图片需清晰可辨,这样才能保证获得良好的训练效果。可以在专业的图片网站上寻找,通常在各个行业相关的网站上寻找。
2.2 素材图片处理
图片需要保持分辨率一致,常用分辨率为512*512。也可以结合个人需求与实际情况进行调整,例如512*768等。可以利用PS等图片处理软件统一处理。
2.3 素材命名及打标
素材文件的命名及储存位置要遵循使用规则
利用SD-Trainer进行图片素材打标
打标后还需要对每个txt文件进行打标核查,因为每个素材的打标都是机器自动完成,所以难免会有错误和遗漏。
三、Lora模型训练



上述参数设置完成后,直接点击开始训练,训练完成后在输出目录找到对应的lora模型。把模型放入对应的lora目录即可开始使用。

四、成果展示
选择刚刚合适的模型,放入到这个目录下(其实应该可以修改代码,这样就不用复制来复制去了。。还占用空间,不过fine拉,看代码也是个很长的过程),利用训练的Lora模型,搭配适配的底模及提示词,即可生成相应风格的意向图片。当然为了得到更优质的图片,还需对模型进一步优化,其中也需要反复抽卡测试。
👍👍👍赞