开源模型应用落地-qwen2-7b-instruct-LoRA推理Gradio-Axolotl-单机单卡-V100（十一）

一、前言

    本篇文章将使用Axolotl去调用微调后的模型权重，包括使用命令行及Gradio方式，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。

    前置内容：开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机单卡-V100（九）

---

二、术语介绍

2.1. LoRA微调

    LoRA (Low-Rank Adaptation) 用于微调大型语言模型 (LLM)。  是一种有效的自适应策略，它不会引入额外的推理延迟，并在保持模型质量的同时显着减少下游任务的可训练参数数量。

2.2.参数高效微调(PEFT) 

    仅微调少量 (额外) 模型参数，同时冻结预训练 LLM 的大部分参数，从而大大降低了计算和存储成本。

2.3.Qwen2-7B-Instruct

    是通义千问 Qwen2 系列中的一个指令微调模型。它在 Qwen2-7B 的基础上进行了指令微调，以提高模型在特定任务上的性能。

    Qwen2-7B-Instruct 具有以下特点：

• 强大的性能：在多个基准测试中，Qwen2-7B-Instruct 的性能可与 Lla