RLHF & DPO：偏好对齐训练

为什么需要对齐训练

SFT（监督微调）训练后的模型知道"怎么回答"，但不一定知道"哪种回答更好"。对同一个问题，模型可能产生多个"都还可以"的回答，但它们的质量差异很大——一个简洁准确，另一个冗长甚至有误导性。对齐训练（Alignment Training）通过让模型学习人类偏好，使其在多个候选回答中选择更符合期望的那个。

RLHF 的三阶段流程

DPO 的数学原理

DPO 的关键洞察是：RLHF 的最优策略有一个闭式解。给定任意奖励函数 r(x, y) 和 KL 约束，最优策略满足：

DPO 数据格式

{
  "prompt": "如何提高代码质量？",
  "chosen": "提高代码质量的关键方法：\n1. 遵循 SOLID 原则（单一职责、开放封闭等）\n2. 编写单元测试（覆盖率 >80%）\n3. 代码审查（每个 PR 至少一位审阅者）\n4. 使用 Linter 和静态分析工具...",
  "rejected": "你可以多写注释，命名要规范，还有就是多练习。"
}

DPO 训练代码（TRL 库）

from trl import DPOTrainer, DPOConfig
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model
import torch

# 加载 SFT 训练后的模型（DPO 的起点必须是 SFT 模型）
# 注意：用预训练基座直接做 DPO 效果差，必须先做 SFT
model = AutoModelForCausalLM.from_pretrained(
    "./sft-checkpoint",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("./sft-checkpoint")

# DPO 配合 LoRA 使用（节省显存，参考模型自动从 LoRA 适配器推导）
lora_config = LoraConfig(
    r=16,                  # DPO 通常用较小的 rank
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    task_type="CAUSAL_LM"
)

# DPO 配置关键参数
dpo_config = DPOConfig(
    output_dir="./dpo-output",
    beta=0.1,               # KL 散度惩罚系数（核心超参数）
    learning_rate=5e-5,     # 通常比 SFT 小 2-5 倍
    num_train_epochs=1,      # DPO 通常只需 1-2 epoch，过多会过拟合偏好数据
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
    max_length=2048,         # prompt + chosen/rejected 的总长度上限
    max_prompt_length=512,   # prompt 部分的最大长度
    remove_unused_columns=False,  # DPO 需要保留 prompt/chosen/rejected 列
    warmup_ratio=0.1,        # 10% steps 用于 warm-up
    logging_steps=10,
    save_strategy="steps",
    save_steps=100,
    fp16=False,
    bf16=True,               # 使用 BF16 更稳定
)

trainer = DPOTrainer(
    model=model,
    args=dpo_config,
    train_dataset=dpo_dataset,  # 需有 prompt/chosen/rejected 三列
    tokenizer=tokenizer,
    peft_config=lora_config,    # 传入 LoRA 配置，自动处理参考模型
)

trainer.train()
trainer.save_model("./dpo-final")

构建偏好数据集

偏好数据的质量比数量更重要。一般来说，500-2000 条高质量偏好对可以显著改善模型行为，但劣质偏好数据会损害模型。

import json
import anthropic

client = anthropic.Anthropic()

def judge_preference(prompt: str, response_a: str, response_b: str) -> tuple[str, str]:
    """使用 Claude 判断两个回答的优劣，返回 (chosen, rejected)"""
    judgment = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=512,
        system="""你是一个 AI 回答质量评判者。
从以下维度评判哪个回答更好：
1. 准确性（信息是否正确）
2. 完整性（是否覆盖关键点）
3. 清晰度（是否易于理解）
4. 实用性（是否对用户有实际帮助）

必须输出 JSON 格式：
{"winner": "A" or "B", "reason": "一句话原因", "score_a": 1-5, "score_b": 1-5}""",
        messages=[{
            "role": "user",
            "content": f"问题：{prompt}\n\n回答A：{response_a}\n\n回答B：{response_b}"
        }]
    )

    result = json.loads(judgment.content[0].text)

    # 仅保留差距明显的偏好对（避免噪声）
    score_diff = abs(result["score_a"] - result["score_b"])
    if score_diff < 2:                  # 差距小于 2 分，丢弃
        return None, None

    if result["winner"] == "A":
        return response_a, response_b   # (chosen, rejected)
    else:
        return response_b, response_a

beta 超参的影响

评估对齐效果

# 计算并记录 DPO 训练指标（在 TRL 的 callbacks 中）
from transformers import TrainerCallback

class DPOMonitorCallback(TrainerCallback):
    """监控 DPO 训练关键指标"""

    def on_log(self, args, state, control, logs=None, **kwargs):
        if logs is None:
            return

        # 提取关键 DPO 指标
        chosen_reward = logs.get("train/rewards/chosen", None)
        rejected_reward = logs.get("train/rewards/rejected", None)

        if chosen_reward and rejected_reward:
            margin = chosen_reward - rejected_reward
            if margin < 0:
                # 奖励边际为负是严重警告信号
                print(f"[警告] DPO reward margin 为负: {margin:.4f}")
                print("  可能原因：beta 太大 / 偏好数据有噪声 / 参考模型不匹配")

            # 记录到 W&B（如果启用）
            print(f"Step {state.global_step}: "
                  f"chosen={chosen_reward:.4f}, "
                  f"rejected={rejected_reward:.4f}, "
                  f"margin={margin:.4f}")

PPO vs DPO 选择指南

完整的对齐训练流程