大模型对齐原理详解:SFT、RLHF 与 DPO 区别
大模型对齐是让模型更符合人类意图的后训练过程。它通过 SFT、RLHF 与 DPO 建立指令遵循和偏好一致性,帮助理解 DPO 训练前常先做 SFT 的原因。
什么是大模型对齐?
大模型对齐是指通过后训练等方法,让模型的回答和行为更符合人类意图、偏好与安全要求。它不只是让模型“会回答”,还要让模型在具体场景中更有用、更符合预期,并尽量减少偏离人类要求的输出。
在大模型能力不断增强的背景下,对齐被视为连接模型能力与实际可用性的关键环节。本文聚焦后训练阶段常见的三类方法:SFT、RLHF 与 DPO,说明它们分别解决什么问题、彼此有什么关系,以及在实践中如何初步选择。
可以把大模型对齐理解为一种“能力校准”:预训练让模型获得广泛的语言和知识能力,而后训练中的对齐方法进一步告诉模型,在指令、偏好和安全边界下应该怎样使用这些能力。
要点: SFT、RLHF、DPO 都属于大模型后训练或对齐相关方法,但它们的训练信号、目标侧重点和实践要求并不相同。
SFT、RLHF 与 DPO 的整体关系
SFT、RLHF 与 DPO 通常不是完全互斥的替代关系,而是服务于不同阶段和不同目标的对齐方法。一个常见的理解顺序是:先通过 SFT 让模型学习如何按指令回答,再通过 RLHF 或 DPO 等偏好优化方法,让模型进一步贴近人类偏好。
| 方法 | 核心目标 | 主要训练信号 | 常见作用 | 需要重点关注 |
|---|---|---|---|---|
| SFT | 模仿正确答案,建立指令遵循能力 | 标注好的指令与回答数据 | 让模型学会按照任务格式和参考答案回答 | 标注数据质量与任务目标是否明确 |
| RLHF | 对齐人类偏好,如有用、无害、诚实 | 人类反馈或偏好信号,并结合强化学习 | 让模型行为更符合人类偏好取向 | 偏好目标、反馈质量和资源条件 |
| DPO | 用偏好优化方式简化对齐思路 | 偏好数据中的优选与非优选回答关系 | 更直接地利用偏好数据进行对齐训练 | 前置 SFT、数据分布和训练稳定性 |
这三类方法的差异可以概括为:SFT 更像“示范学习”,RLHF 更强调“人类偏好反馈”,DPO 则将偏好关系转化为更直接的优化目标。它们都可以服务于人类意图对齐,但侧重点不同。
SFT 通过模仿正确答案建立指令遵循能力
SFT,即监督微调,核心目标是让模型模仿标注数据中的正确答案。对于大模型来说,SFT 的价值在于把通用预训练模型调整为更擅长执行指令的模型,使其学会按照用户问题、任务要求和期望格式生成回答。
SFT 适合解决什么问题?
当任务目标相对明确,并且可以准备较多高质量标注数据时,SFT 通常是较自然的起点。例如,问答、摘要、分类说明、格式化输出等任务,如果能够给出清晰的输入与参考输出,就适合用 SFT 建立基础行为。
SFT 的优势在于训练目标清晰:给定输入,让模型学习生成接近标注答案的输出。因此,它适合帮助模型形成稳定的指令遵循能力。
SFT 的边界在哪里?
SFT 并不等同于完整的人类偏好对齐。它主要学习“在给定样本中,什么样的回答是正确或可接受的”,但不一定充分覆盖复杂偏好场景。例如,多个答案都可用但质量不同,答案需要在有用性与安全性之间权衡,或者需要更细粒度地符合人类偏好时,仅靠 SFT 往往不够。
实践提示: 如果模型连基本指令格式、任务边界和回答风格都不稳定,通常应先考虑 SFT,而不是直接跳到更复杂的偏好优化。
RLHF 通过人类偏好信号推动模型更符合预期
RLHF,即基于人类反馈的强化学习,目标是让模型更符合人类偏好。与 SFT 侧重模仿正确答案不同,RLHF 更关注模型输出是否符合人类对“有用、无害、诚实”等方向的偏好判断。
RLHF 与 SFT 的核心区别
SFT 的训练信号通常来自标准答案,强调“学会怎么回答”;RLHF 的训练信号来自人类反馈或偏好判断,强调“哪种回答更符合人类期望”。
| 对比维度 | SFT | RLHF |
|---|---|---|
| 主要目标 | 指令遵循、模仿正确答案 | 对齐人类偏好 |
| 关注重点 | 输出是否接近标注答案 | 输出是否更有用、更无害、更诚实 |
| 典型训练信号 | 输入与参考回答 | 人类反馈或偏好信号 |
| 适合阶段 | 建立基础回答能力 | 在基础能力上进一步调整行为取向 |
在实际理解中,可以把 SFT 看作“先教模型做题”,把 RLHF 看作“再根据人类偏好调整模型的回答倾向”。前者提供基础行为,后者进一步推动模型行为与偏好目标一致。
DPO 用偏好优化简化对齐流程
DPO,即直接偏好优化,通常被描述为一种从复杂到简洁演化的新型对齐方法。它同样服务于偏好对齐,但思路上更强调直接利用偏好数据进行优化。
DPO 的关键思想与 KL 约束下的最优策略和奖励函数之间的对应关系有关。通俗地说,它试图把“哪个回答更符合偏好”这一信息,更直接地转化为模型训练目标,而不是只把对齐理解为额外叠加一个复杂流程。
DPO 不等于不需要数据准备
需要注意的是,DPO 并不是“跳过训练准备”的方法。它仍然依赖偏好数据,也需要关注数据分布是否适合算法要求。相关实践文档建议,在开始 DPO 训练前,先使用偏好数据集中的偏好回答部分进行 SFT,以帮助数据符合 DPO 算法的分布要求。
因此,DPO 的“简洁”更适合理解为优化思路上的简化,而不是工程准备上的完全省略。
为什么 DPO 训练前常先做 SFT?
在 DPO 训练前先做 SFT,主要是为了让模型和数据进入更适合偏好优化的状态。相关文档建议使用偏好数据集中的偏好回答部分进行 SFT,原因是这有助于确保数据符合 DPO 算法的分布要求。
关注数据分布,而不是机械堆叠方法
DPO 依赖偏好样本。如果模型在进入 DPO 前尚未稳定学习偏好回答的基本分布,直接进行偏好优化可能会增加训练不稳定性。前置 SFT 的作用,是让模型先对优选回答的形式、内容和任务模式有基本适应。
用 SFT loss 辅助稳定训练
相关文档还提到,可以在 DPO loss 中混合 SFT loss 来稳定训练。这说明在实践中,DPO 与 SFT 并非只能二选一;在合适设置下,SFT 可以作为稳定偏好优化过程的辅助信号。
要点: DPO 前置 SFT 的核心不是“多训练一步一定更好”,而是围绕数据分布匹配和训练稳定性进行设计。
三种方法的区别与选择标准
选择 SFT、RLHF 还是 DPO,不能只看方法名称是否流行,而应结合任务需求、数据条件和资源条件。不同方法解决的问题不同,适合的起点也不同。
| 选择维度 | SFT | RLHF | DPO |
|---|---|---|---|
| 更适合的目标 | 建立指令遵循能力 | 进一步贴近人类偏好 | 使用偏好数据进行更直接的优化 |
| 数据条件 | 适合有较多标注数据的任务 | 需要人类反馈或偏好信号 | 需要偏好数据,并关注优选回答分布 |
| 对基础模型状态的要求 | 可作为后训练起点 | 通常建立在已有基础行为之上 | 常建议先做 SFT 再训练 |
| 实践关注点 | 标注答案质量、任务一致性 | 偏好目标是否清晰、资源条件是否匹配 | 数据分布、前置 SFT、loss 稳定性 |
| 不宜误解为 | 完整偏好对齐 | 只要有人类反馈就一定更好 | 完全不需要前置训练或数据准备 |
可以用以下框架做初步判断:
- 如果目标是让模型先学会按指令稳定回答,并且有较多标注数据,优先考虑 SFT。
- 如果模型已有基础回答能力,但需要更符合人类偏好,例如更有用、更无害、更诚实,可以评估 RLHF。
- 如果已经具备偏好数据,希望采用更直接的偏好优化思路,可以评估 DPO。
- 如果使用 DPO,应特别关注是否需要前置 SFT,以及是否需要在 DPO loss 中混合 SFT loss 来增强训练稳定性。
常见误区与实践检查清单
误区一:把 SFT 等同于完整对齐
SFT 能帮助模型模仿正确答案,提升指令遵循能力,但它不等同于完整的人类偏好对齐。对于偏好排序、安全取向和复杂回答质量判断,仍可能需要 RLHF、DPO 等进一步方法。
误区二:认为 DPO 可以跳过基础训练
DPO 的确常被视为更简洁的偏好优化方法,但这不意味着可以忽略前置训练。实践文档中建议在 DPO 前使用偏好回答进行 SFT,以帮助满足 DPO 算法的数据分布要求。
误区三:只按流行程度选择方法
不同团队的数据、任务和资源条件不同。选择方法时,应回到问题本身:是缺少基础指令遵循能力,还是需要进一步偏好对齐?是有标注答案,还是有偏好数据?训练稳定性和资源条件是否允许?
实践检查清单
在启动对齐训练前,可以先检查以下问题:
- 目标是否明确:是提升指令遵循,还是对齐人类偏好?
- 数据是否匹配:有标准答案数据,还是成对或排序的偏好数据?
- 基础行为是否稳定:模型是否已经能够按指令生成可用回答?
- 是否需要前置 SFT:尤其在 DPO 训练前,是否需要先用偏好回答做 SFT?
- 稳定性策略是否准备好:是否需要在 DPO loss 中混合 SFT loss?
- 资源条件是否合适:方法选择是否符合当前标注、训练和评估资源?
总体来看,SFT、RLHF 与 DPO 不是简单的高低级关系,而是面向不同训练信号和对齐目标的工具组合。理解它们的目标差异、数据要求和实践边界,才能更稳妥地设计大模型人类意图对齐方案。