LoRA、Bottleneck Adapters、Invertible Adapters、IA3、Compacter的简介、使用

IA3：缩放因子，LoRA：低秩矩阵分解

在 IA3 中，主要是为 Transformer 模型中的特定模块的激活值维度生成可学习的缩放因子向量，并且这些缩放因子是在训练过程中不断调整优化的，用于对激活值进行缩放，从而实现对模型的微调。

在 LoRA 中，确实是对低秩矩阵进行分解并添加到 Transformer 模型的关键部位，如在注意力模块的查询、键、值矩阵以及前馈网络的线性层矩阵附近添加低秩分解的矩阵。通常将低秩矩阵分解为两个较小的矩阵相乘的形式

LoRA

• 简介：LoRA的全称为Low-Rank Adaptation of Large Language Models，核心是通过低秩矩阵分解来微调权重矩阵，从而显著减少可训练参数的数量。它在保持预训练模型原有性能的基础上，大大加快了训练速度，同时减少了模型检查点的大小，对于存储和计算资源有限的环境尤为适用.
• 使用方法&