当前位置：首页 > news >正文

PEFT qwen2 lora微调模型训练案例

news 2025/8/19 13:22:24

参考：
https://github.com/huggingface/peft
##文档
https://huggingface.co/docs/peft/index

https://www.wehelpwin.com/article/4299

https://www.ethanzhang.xyz/2024/07/09/%E3%80%90%E4%B8%AA%E4%BA%BA%E5%8D%9A%E5%AE%A2%E3%80%91%E4%BD%BF%E7%94%A8huggingface%E5%9C%A8%E5%8D%83%E9%97%AE2%E5%9F%BA%E7%A1%80%E4%B8%8A%E8%BF%9B%E8%A1%8CLora%E6%8C%87%E4%BB%A4%E5%BE%AE%E8%B0%83/

PEFT（参数高效微调）是一个库，用于高效地将大型预训练模型适配到各种下游应用中，而无需对模型的所有参数进行微调，因为这样做成本过高。PEFT 方法仅微调少量（额外）模型参数 - 显著降低计算和存储成本 - 同时产生与完全微调模型相当的性能。这使得在消费级硬件上训练和存储大型语言模型（LLM）变得更容易。PEFT 与 Transformers、Diffusers 和 Accelerate 库集成，为加载、训练和使用大型模型进行推理提供了更快、更简便的方法。