前言
得益于开源社区的力量，在各位大佬的努力下，现在16G VRAM的家用电脑也可以训练FLUX的LoRA了 👏。
今天我使用fluxgym这个方法，训练LoRA，并记录过程。
篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！
CSDN官方AI绘画资料合集，点击这里快速获取！
fluxgym
由cocktail peanut 整合开发的一个易用的前端LoRA训练web应用，其背后也是使用Kohya Scripts。有两大优点：
- 显著降低显存占用。支持12GB、16GB、20GB显卡；
- 超级简单的用户界面和流程；
但目前仅支持NV的卡，项目地址：https://github.com/cocktailpeanut/fluxgym
得益于其优秀的易用性，X上越来越多的推友，都用这个应用来训练LoRA。
安装fluxgym
篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！
CSDN官方AI绘画资料合集，点击这里快速获取！
克隆项目
首先克隆 Fluxgym 和 kohya-ss/sd-scripts：
git clone https://github.com/cocktailpeanut/fluxgym``cd fluxgym``git clone -b sd3 https://github.com/kohya-ss/sd-scripts
您的文件夹结构将如下所示：
/fluxgym` `app.py` `requirements.txt` `/sd-scripts
创建conda环境
官方使用的是venv虚拟环境，我这里就直接使用conda环境来安装了。
conda create -n fluxgym python=3.10
激活环境
conda activate fluxgym
进入sd-scripts，并安装依赖
cd sd-scripts``pip install -r requirements.txt
然后回到根目录，在安装依赖：
cd ..``pip install -r requirements.txt
最后，安装 pytorch Nightly：
pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121
篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！
CSDN官方AI绘画资料合集，点击这里快速获取！
下载模型
其实跟fp16的FLUX模型组一样的，如果已经下载过，直接复制相关模型文件到相关目录即可。
首先，在foder下下载以下模型models/clip：
-
https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors?download=true
-
https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors?download=true
其次，下载文件夹下的以下模型models/vae：
- https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/ae.sft?download=true
最后下载models/unet文件夹下的以下模型：
- https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/flux1-dev.sft?download=true
结果文件结构如下：
/models` `/clip` `clip_l.safetensors` `t5xxl_fp16.safetensors` `/unet` `flux1-dev.sft` `/vae` `ae.sft``/sd-scripts``/outputs``/env``app.py``requirements.txt``...
运行
返回根fluxgym文件夹，激活 caonda环境，运行：
python app.py
训练过程
准备数据集
这次的目标是训练一个等距视角的室内模型icon。获取素材的过程，大家可以使用Midjourney，质量可控，方便快捷~😂
生成10到20张图就可以作为素材输入了。
将图片一一下载好，名字没关系，fluxgym后续可以处理。
尺寸就使用Midjourney生成的1024x1024吧，其实可以放大后再保存，这样训练出来的模型，质量更好。
篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！CSDN官方AI绘画资料合集，点击这里快速获取！
训练信息
这里制作简单演示哈~。按照图片所示，输入基础的训练参数，其他先默认吧：
-
LoRA名称
-
触发词
-
上传图片素材
-
使用Florence反推打标。这个真的好用，免去了打标的步骤
值得一提的是，Florence打标必须点赞，又方便又好~👍
使用打标时，需要另外下载模型，这里需要等待一段时间。
反推得还是很准确的。
开始训练
一切就绪后，就可以点击开始训练了。
耐心等待中 ☕️
显存去到了接近20GB
最终用时36分钟。
篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！
CSDN官方AI绘画资料合集，点击这里快速获取！
LoRA效果
训练好的LoRA模型就在根目录的output文件夹中。时间关系，我就不做xy图了，直接用最后产出的LoRA看看效果。
加上LoRA后，元素和细节更加明显了。使用同样的提示语，右图为加上LoRA的效果。
3d isometric interiors, a living room with a blue background, featuring a sofa with cushions, a table with various objects on it, a chair, a monitor, keyboard, mouse, lamp, and other items on the table, houseplants, windows with curtains, and toys scattered on the floor.
更多输出如下：
写在最后
还是那句话，因为开源，所以生气蓬勃！ 可以说，这是我目前遇到的最易用的LoRA训练流程，大家赶紧用起来吧~。
篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的链接进行领取！
CSDN官方AI绘画资料合集，点击这里快速获取！