5.5 Soft Prompt技术：任务特定微调的新范式

Soft Prompt技术：任务特定微调的新范式

一、Soft Prompt技术全景图

mindmap  root((Soft Prompt))  Prefix Tuning  连续向量优化  层级前缀插入  Prompt Tuning  可学习提示向量  任务特定初始化  P-Tuning  可微提示优化  双向提示设计  

Soft Prompt的核心优势：

1. 参数高效：仅优化少量提示向量
2. 任务特定：为每个任务学习独立提示
3. 知识保留：最大限度保留预训练知识

二、Prefix Tuning技术详解

2.1 连续向量优化

class PrefixTuning