Prompt Tuning

🍋🍋AI学习🍋🍋

🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

一、什么是 PromptTuning？

PromptTuning（提示调优）是一种参数高效的大模型适配技术，属于 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）的分支，核心目标是用极少的训练成本，让大模型快速适配特定任务的输出格式 / 风格 / 能力—— 比如你的体检报告质控需要模型「稳定输出 JSON 结构化结果、不漏检异常指标」，居家养老机器人需要模型「固定用温和的家人语气回复」，这些都可以通过 PromptTuning 实现。

它和你之前了解的全参数微调、LoRA、DPO/RLHF的核心区别是：

PromptTuning 是性价比最高的选择 ——用几十 KB 的训练参数、单卡 4G 显存、几小时的训练时间，就能让模型稳定输出符合要求的结果。

二、PromptTuning 的核心原理：硬提示 vs 软提示

PromptTuning 分为两类，你之前用到的「人工编写提示词（比如请作为体检报告质控专员，输出JSON格式结果）」属于硬提示（Hard Prompt），而我们通常说的 PromptTuning 指的是软提示（Soft Prompt）：

1. 硬提示（Hard Prompt）
   • 本质：人工设计的自然语言提示词，直接作为输入传给模型
   • 优点：不需要训练，快速验证想法
   • 缺点：需要反复调试（比如你可能要改几十次提示词才能让模型稳定输出 JSON）、对复杂任务（比如体检报告多指标联动质控）不稳定、无法适配个性化的输出风格
2. 软提示（Soft Prompt）
   • 本质：一段可训练的连续向量（虚拟 token 的 embedding），嵌入到基座模型的输入 embedding 层中，不会改变基座模型的任何参数
   • 核心逻辑：
     1. 在基座模型的输入 token 的 embedding 前面，添加一段长度为N（通常 10-50）的「虚拟 token 的 embedding」，这段 embedding 是随机初始化的
     2. 训练时冻结基座模型的所有参数，只更新这段虚拟 token 的 embedding 参数
     3. 用「指令 - 目标输出」的样本训练，让模型学习到：只要输入带有这段软提示，就会输出符合要求的格式 / 风格
   • 优点：不需要人工调试复杂提示词、输出稳定性极高、训练成本极低、可以多任务复用

不在模型内部插入可训练模块，而是在输入序列前添加一组可学习的“软提示”（soft prompts），这些提示是连续的嵌入向量（非真实 token），仅训练这些提示，冻结整个大模型。

三、Prompt Tuning 适用的场景

场景 1：超大规模模型（>10B 参数） + 小样本数据

• 为什么有效？
  研究表明（Lester et al., 2021），Prompt Tuning 在GPT-3（175B）上性能接近全参数微调，但在BERT（110M）上效果差。
  →模型越大，Prompt Tuning 越有效（因大模型具有更强的“prompt 表达能力”）。

• 典型用例：

  • 使用 Llama-3-70B 或 Qwen-Max 进行领域适配
  • 仅有 100~1k 条标注数据
  • 不想/不能微调主干模型

经验法则：模型 ≥ 7B 参数 + 数据 ≤ 5k 条 → 可尝试 Prompt Tuning

场景 2：多任务学习 / 动态任务切换

• 每个任务训练一个独立的 soft prompt 向量

• 推理时根据任务 ID 加载对应 prompt

• 存储成本极低：100 个任务 ≈ 100 × 0.5MB = 50MB

• 典型用例：

  • 企业级 AI 平台支持 NLP、代码、客服等多任务
  • 边缘设备上部署多个轻量级适配器

场景 3：资源极度受限环境

• 硬件限制：只有 16GB 显存（如 RTX 4080）
• 无法使用 LoRA（LoRA 仍需反向传播 through 主干）
• Prompt Tuning 只需前向 + 优化 prompt embeddings，显存压力最小

实测：在 24G 显存上，Prompt Tuning 可微调Qwen-72B，而 LoRA 都难以加载。