大模型对齐原理详解:SFT、RLHF 与 DPO 区别

大模型对齐是让模型更符合人类意图的后训练过程。它通过 SFT、RLHF 与 DPO 建立指令遵循和偏好一致性,帮助理解 DPO 训练前常先做 SFT 的原因。

什么是大模型对齐?

大模型对齐是指通过后训练等方法,让模型的回答和行为更符合人类意图、偏好与安全要求。它不只是让模型“会回答”,还要让模型在具体场景中更有用、更符合预期,并尽量减少偏离人类要求的输出。

在大模型能力不断增强的背景下,对齐被视为连接模型能力与实际可用性的关键环节。本文聚焦后训练阶段常见的三类方法:SFT、RLHF 与 DPO,说明它们分别解决什么问题、彼此有什么关系,以及在实践中如何初步选择。

可以把大模型对齐理解为一种“能力校准”:预训练让模型获得广泛的语言和知识能力,而后训练中的对齐方法进一步告诉模型,在指令、偏好和安全边界下应该怎样使用这些能力。

要点: SFT、RLHF、DPO 都属于大模型后训练或对齐相关方法,但它们的训练信号、目标侧重点和实践要求并不相同。

SFT、RLHF 与 DPO 的整体关系

SFT、RLHF 与 DPO 通常不是完全互斥的替代关系,而是服务于不同阶段和不同目标的对齐方法。一个常见的理解顺序是:先通过 SFT 让模型学习如何按指令回答,再通过 RLHF 或 DPO 等偏好优化方法,让模型进一步贴近人类偏好。

方法核心目标主要训练信号常见作用需要重点关注
SFT模仿正确答案,建立指令遵循能力标注好的指令与回答数据让模型学会按照任务格式和参考答案回答标注数据质量与任务目标是否明确
RLHF对齐人类偏好,如有用、无害、诚实人类反馈或偏好信号,并结合强化学习让模型行为更符合人类偏好取向偏好目标、反馈质量和资源条件
DPO用偏好优化方式简化对齐思路偏好数据中的优选与非优选回答关系更直接地利用偏好数据进行对齐训练前置 SFT、数据分布和训练稳定性

这三类方法的差异可以概括为:SFT 更像“示范学习”,RLHF 更强调“人类偏好反馈”,DPO 则将偏好关系转化为更直接的优化目标。它们都可以服务于人类意图对齐,但侧重点不同。

SFT 通过模仿正确答案建立指令遵循能力

SFT,即监督微调,核心目标是让模型模仿标注数据中的正确答案。对于大模型来说,SFT 的价值在于把通用预训练模型调整为更擅长执行指令的模型,使其学会按照用户问题、任务要求和期望格式生成回答。

SFT 适合解决什么问题?

当任务目标相对明确,并且可以准备较多高质量标注数据时,SFT 通常是较自然的起点。例如,问答、摘要、分类说明、格式化输出等任务,如果能够给出清晰的输入与参考输出,就适合用 SFT 建立基础行为。

SFT 的优势在于训练目标清晰:给定输入,让模型学习生成接近标注答案的输出。因此,它适合帮助模型形成稳定的指令遵循能力。

SFT 的边界在哪里?

SFT 并不等同于完整的人类偏好对齐。它主要学习“在给定样本中,什么样的回答是正确或可接受的”,但不一定充分覆盖复杂偏好场景。例如,多个答案都可用但质量不同,答案需要在有用性与安全性之间权衡,或者需要更细粒度地符合人类偏好时,仅靠 SFT 往往不够。

实践提示: 如果模型连基本指令格式、任务边界和回答风格都不稳定,通常应先考虑 SFT,而不是直接跳到更复杂的偏好优化。

RLHF 通过人类偏好信号推动模型更符合预期

RLHF,即基于人类反馈的强化学习,目标是让模型更符合人类偏好。与 SFT 侧重模仿正确答案不同,RLHF 更关注模型输出是否符合人类对“有用、无害、诚实”等方向的偏好判断。

RLHF 与 SFT 的核心区别

SFT 的训练信号通常来自标准答案,强调“学会怎么回答”;RLHF 的训练信号来自人类反馈或偏好判断,强调“哪种回答更符合人类期望”。

对比维度SFTRLHF
主要目标指令遵循、模仿正确答案对齐人类偏好
关注重点输出是否接近标注答案输出是否更有用、更无害、更诚实
典型训练信号输入与参考回答人类反馈或偏好信号
适合阶段建立基础回答能力在基础能力上进一步调整行为取向

在实际理解中,可以把 SFT 看作“先教模型做题”,把 RLHF 看作“再根据人类偏好调整模型的回答倾向”。前者提供基础行为,后者进一步推动模型行为与偏好目标一致。

DPO 用偏好优化简化对齐流程

DPO,即直接偏好优化,通常被描述为一种从复杂到简洁演化的新型对齐方法。它同样服务于偏好对齐,但思路上更强调直接利用偏好数据进行优化。

DPO 的关键思想与 KL 约束下的最优策略和奖励函数之间的对应关系有关。通俗地说,它试图把“哪个回答更符合偏好”这一信息,更直接地转化为模型训练目标,而不是只把对齐理解为额外叠加一个复杂流程。

DPO 不等于不需要数据准备

需要注意的是,DPO 并不是“跳过训练准备”的方法。它仍然依赖偏好数据,也需要关注数据分布是否适合算法要求。相关实践文档建议,在开始 DPO 训练前,先使用偏好数据集中的偏好回答部分进行 SFT,以帮助数据符合 DPO 算法的分布要求。

因此,DPO 的“简洁”更适合理解为优化思路上的简化,而不是工程准备上的完全省略。

为什么 DPO 训练前常先做 SFT?

在 DPO 训练前先做 SFT,主要是为了让模型和数据进入更适合偏好优化的状态。相关文档建议使用偏好数据集中的偏好回答部分进行 SFT,原因是这有助于确保数据符合 DPO 算法的分布要求。

关注数据分布,而不是机械堆叠方法

DPO 依赖偏好样本。如果模型在进入 DPO 前尚未稳定学习偏好回答的基本分布,直接进行偏好优化可能会增加训练不稳定性。前置 SFT 的作用,是让模型先对优选回答的形式、内容和任务模式有基本适应。

用 SFT loss 辅助稳定训练

相关文档还提到,可以在 DPO loss 中混合 SFT loss 来稳定训练。这说明在实践中,DPO 与 SFT 并非只能二选一;在合适设置下,SFT 可以作为稳定偏好优化过程的辅助信号。

要点: DPO 前置 SFT 的核心不是“多训练一步一定更好”,而是围绕数据分布匹配和训练稳定性进行设计。

三种方法的区别与选择标准

选择 SFT、RLHF 还是 DPO,不能只看方法名称是否流行,而应结合任务需求、数据条件和资源条件。不同方法解决的问题不同,适合的起点也不同。

选择维度SFTRLHFDPO
更适合的目标建立指令遵循能力进一步贴近人类偏好使用偏好数据进行更直接的优化
数据条件适合有较多标注数据的任务需要人类反馈或偏好信号需要偏好数据,并关注优选回答分布
对基础模型状态的要求可作为后训练起点通常建立在已有基础行为之上常建议先做 SFT 再训练
实践关注点标注答案质量、任务一致性偏好目标是否清晰、资源条件是否匹配数据分布、前置 SFT、loss 稳定性
不宜误解为完整偏好对齐只要有人类反馈就一定更好完全不需要前置训练或数据准备

可以用以下框架做初步判断:

  1. 如果目标是让模型先学会按指令稳定回答,并且有较多标注数据,优先考虑 SFT。
  2. 如果模型已有基础回答能力,但需要更符合人类偏好,例如更有用、更无害、更诚实,可以评估 RLHF。
  3. 如果已经具备偏好数据,希望采用更直接的偏好优化思路,可以评估 DPO。
  4. 如果使用 DPO,应特别关注是否需要前置 SFT,以及是否需要在 DPO loss 中混合 SFT loss 来增强训练稳定性。

常见误区与实践检查清单

误区一:把 SFT 等同于完整对齐

SFT 能帮助模型模仿正确答案,提升指令遵循能力,但它不等同于完整的人类偏好对齐。对于偏好排序、安全取向和复杂回答质量判断,仍可能需要 RLHF、DPO 等进一步方法。

误区二:认为 DPO 可以跳过基础训练

DPO 的确常被视为更简洁的偏好优化方法,但这不意味着可以忽略前置训练。实践文档中建议在 DPO 前使用偏好回答进行 SFT,以帮助满足 DPO 算法的数据分布要求。

误区三:只按流行程度选择方法

不同团队的数据、任务和资源条件不同。选择方法时,应回到问题本身:是缺少基础指令遵循能力,还是需要进一步偏好对齐?是有标注答案,还是有偏好数据?训练稳定性和资源条件是否允许?

实践检查清单

在启动对齐训练前,可以先检查以下问题:

  • 目标是否明确:是提升指令遵循,还是对齐人类偏好?
  • 数据是否匹配:有标准答案数据,还是成对或排序的偏好数据?
  • 基础行为是否稳定:模型是否已经能够按指令生成可用回答?
  • 是否需要前置 SFT:尤其在 DPO 训练前,是否需要先用偏好回答做 SFT?
  • 稳定性策略是否准备好:是否需要在 DPO loss 中混合 SFT loss?
  • 资源条件是否合适:方法选择是否符合当前标注、训练和评估资源?

总体来看,SFT、RLHF 与 DPO 不是简单的高低级关系,而是面向不同训练信号和对齐目标的工具组合。理解它们的目标差异、数据要求和实践边界,才能更稳妥地设计大模型人类意图对齐方案。