详细解释
指令蒸馏（Instruction Distillation）是一种将大型基础模型（如 70B 级 Teacher Model）在指令遵循与复杂推理上积累的能力，通过「Teacher 生成高质量样本 + Student 模型 SFT 学习」的两阶段流程，压缩到 7B 至 13B 级小型学生模型的技术。其核心动机是：小模型原生做指令微调需要海量人工标注数据，而指令蒸馏直接复用大模型的「思维链输出」作为软标签，成本只有人工标注的百分之一。
典型的指令蒸馏流水线包含四步：(1) 收集或合成多样化指令种子库，覆盖 12 类任务（问答/摘要/翻译/分类/代码/推理等）；(2) 用 Teacher 模型（带 CoT/ToT 采样策略）对每条指令生成 1 至 4 条高质量推理路径；(3) 清洗掉重复/胡编/输出长度异常的样本，构建 5 万至 50 万条蒸馏集；(4) 选小参数 Student 模型做 SFT，必要时再接 DPO 对齐。
唯元智创 的 API 网关内置了「Teacher-Student 路由」策略，当同一业务场景同时部署了大模型和蒸馏小模型时，网关会根据历史命中分自动把稳定请求切到成本低 60% 的小模型，长尾难请求保留给 Teacher，兼顾成本与效果。也可参考 知识蒸馏 对基础能力的通用定义。
蒸馏策略对比表
| 策略名称 | Teacher 采样 | 数据量规模 | 适用场景 | 推理成本下降 | 效果保留度 | 推荐度 |
|---|---|---|---|---|---|---|
| Vanilla Response Distill | Greedy 1条 | 5 万级 | 简单分类/摘要任务 | 60% 至 70% | 85% 至 90% | ⭐⭐⭐ |
| CoT Path Distill | 采样 4 条取最优 | 20 万级 | 数学/代码/多步推理 | 50% 至 60% | 90% 至 95% | ⭐⭐⭐⭐⭐ |
| Self-Instruct Bootstrapping | 迭代 3 轮 | 50 万级 | 通用指令遵循底座 | 55% 至 65% | 88% 至 93% | ⭐⭐⭐⭐ |
| On-Policy DPO Distill | Teacher 排序偏好 | 10 万级 | 强对齐高拒绝率场景 | 40% 至 50% | 92% 至 96% | ⭐⭐⭐⭐ |
| Task-Specific Ensemble | 多 Teacher 投票 | 8 万级 | 垂直领域（金融/法律/医疗） | 50% 至 60% | 93% 至 97% | ⭐⭐⭐⭐⭐ |
实战经验与避坑
- Teacher 输出必须做严格去重与质量过滤：若 Teacher 采样的 CoT 路径里有 15% 以上的胡编事实（可通过外部检索交叉验证），Student 学到的将是稳定的错误模式，后续再纠偏成本翻倍；建议引入 SFT 前先跑 3% 抽样人工质检。
- 指令种子库务必做任务类别分层抽样：12 类任务每类最少保留 5% 至 8% 的最低占比，不能让摘要/改写等易产出任务占满数据集，否则 Student 会出现「不会做数学、只会改写」的偏科；同时长指令（200 字以上）保留 15% 至 20% 的比例。
- Student 模型尺寸至少要达到 Teacher 的 1/8 至 1/5：70B Teacher 蒸馏到 8B 至 14B 可保留 92% 以上效果；若强行压到 3B 及以下，复杂多步推理的保留度会骤降到 70% 以下，需要配合 量化算法 做二次压缩。
- 蒸馏学习率必须比原生 SFT 低 30% 至 50%：因为 Teacher 输出是高确定性「软标签」，学习率过大（如 2e-5）会让 Student 过拟合到 Teacher 的措辞模式而非语义结构，遇到分布外指令就会崩溃；推荐从 1e-5 起步，epoch 数控制在 2 至 3 轮。
- 蒸馏后必须做「对齐税审计」三部曲：①IFE 指令遵循评测（与 Teacher 对比），差距应在 5 个百分点以内；②安全拒答集抽样，拒绝率变化不超过 3%；③业务线上 A/B，核心指标（如转化率/解决率）下降不超过 2% 方可全量切换。
- 避免用「Teacher 输出 + 原训练集」混训：混合训练会导致 Student 在原训练集的分布上过拟合，真实指令分布上效果反而下降；正确做法是用蒸馏集单独 SFT，再用少量人工金标数据做最后 1 轮「安全校准微调」。
常见问题
指令蒸馏和原生 SFT 在数据构建上有什么本质区别？
核心差异在「标签来源」和「数据确定性」：原生 SFT 使用人工标注的「金标准答案」，每条数据只有 1 条确定输出，噪声极小但成本极高；而指令蒸馏使用 Teacher 模型采样生成的「软标签」，同一条指令可保留 1 至 4 条不同的推理路径，成本是人工的 1% 至 5%，但会混入 Teacher 的幻觉与措辞偏好。实践中建议用 95% 蒸馏集 + 5% 人工金标集做最后一轮校准，可在保留低成本的同时把幻觉率再压低 30% 至 40%。
我怎么判断 Student 模型「学到了推理能力」还是「背会了 Teacher 的答案」？
用「分布外指令 + 数字扰动 + 推理长度约束」三件套可 90% 准确判断过拟合：第一，准备一组与蒸馏集任务类别相同、但具体数值/实体/措辞完全不同的 Held-out OOD 集，测试 Student 的解决率；第二，对数学/代码类题目，把题干里的数字做 3 至 5 倍扰动，观察答案正确率是否同步下降；第三，限制 Student 的输出 token 数比 Teacher 原版少 30%，若正确推理链反而消失，说明它是在「背诵」而非「推理」。出现过拟合的典型信号是 OOD 集正确率比 In-domain 低 20 个百分点以上，此时应增加 20% 的 Near-OOD 样本、降低学习率 30%，并减少 1 个训练 epoch。