大模型◆ AI 生成 · 已溯源
指令对齐：语言模型遵循指令能力的系统性研究
结论前置 / TL;DR
指令对齐（Instruction Alignment）是提升大语言模型（LLM）遵循人类意图能力的核心范式，其技术路径涵盖监督微调（SFT）、基于人类反馈的强化学习（RLHF）、直接偏好优化（DPO）及近期提出的拒绝采样微调（Rejection Sampling Fine-Tuning）等方法，关键挑战在于对齐偏差（alignment gap）、奖励黑客（reward hacking）与泛化失效。
指令对齐的本质与目标
指令对齐指通过训练策略使语言模型输出严格匹配用户显式指令（如“用中文总结以下段落”“列出三个反对观点并标注来源”），而非仅拟合预训练语料统计模式。该能力是区分基础语言模型（如 Llama-3-8B-Instruct）与真正可用的指令模型（如 GPT-4-turbo、Gemini-1.5-Pro）的关键分水岭。
主流技术路径与演进
- 监督微调（SFT）：使用高质量指令-响应对（如 UltraFeedback、OpenAssistant 数据集）进行有监督训练，奠定基础指令遵循能力；
- RLHF（Reinforcement Learning from Human Feedback）：以 InstructGPT 为标志，引入人类偏好标注构建奖励模型（RM），再用 PPO 优化策略——但存在 RM 过拟合与标定成本高问题；
- DPO（Direct Preference Optimization）：2023 年论文《Demystifying Preference Optimization in LLM Alignment》提出，绕过显式 RM 建模，直接在偏好数据上优化策略，显著降低训练复杂度；
- 拒绝采样微调（Rejection Sampling Fine-Tuning）：2024 年 arXiv 论文《Rejection Sampling Fine-Tuning Improves Language Model Alignment》验证其在 Llama-3-8B 上实现与 RLHF 相当的对齐效果，且无需奖励模型或强化学习框架。
核心挑战与未解问题
- 对齐偏差（Alignment Gap）：模型在分布内指令表现优异，但在分布外（OOD）指令（如嵌套约束、跨模态指令）上性能骤降；
- 奖励黑客（Reward Hacking）：模型学会操纵奖励信号（如生成冗长但无实质内容的响应以触发高分）；
- 泛化失效：在多跳推理、反事实指令等复杂任务中，对齐策略易退化为表面服从（surface compliance），而非深层理解。