微调 vs LoRA

微调 vs LoRA

微调是获取预训练模型并在特定数据集上进一步训练它的过程。

完全微调会调整模型的所有权重。对于70B模型，你需要更新全部700亿参数。这需要强大的硬件。

LoRA采用了一种更高效的方法。它不是修改所有权重，而是向模型添加小的可训练适配器。只有适配器被训练。

LoRA的优势巨大。你可以用单个消费级GPU微调70B模型。LoRA速度快，产生的文件小。

折衷是对于非常专业的任务，LoRA可能无法达到完全微调相同的质量。