Unsloth 实战：2× 速度的微调

为什么 Unsloth 这么快

标准的 QLoRA 训练（HuggingFace + bitsandbytes）之所以慢，原因在于：① PyTorch 的自动微分（autograd）框架有显著的内存和计算开销；② Flash Attention 的实现不是针对微调场景优化的；③ 梯度检查点的默认实现会重计算所有层。Unsloth 针对这三点都做了定制化优化。

环境安装

# 方法一：标准 pip 安装（推荐，自动检测 CUDA 版本）
pip install unsloth

# 方法二：源码安装（获取最新特性）
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

# 验证安装
python -c "import unsloth; print('Unsloth version:', unsloth.__version__)"

# 查看 GPU 兼容性（Unsloth 需要 CUDA 11.8+ 和 Ampere/Ada 架构 GPU）
# 支持：RTX 3xxx/4xxx, A100, A10, V100 (部分功能)
# 不支持：GTX 10xx/20xx（Turing 架构之前）
python -c "import torch; print(torch.cuda.get_device_name())"

完整训练脚本

from unsloth import FastLanguageModel
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
import torch

# ── 步骤 1：加载模型（Unsloth 优化版）──
# 推荐使用 Unsloth 预量化的模型（已做好 NF4 量化，加载更快）
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit",  # 预量化版本
    max_seq_length=2048,           # 最大序列长度（影响显存和速度）
    dtype=None,                    # 自动检测：Ampere+ 用 BF16，否则 FP16
    load_in_4bit=True              # QLoRA 模式
)

# ── 步骤 2：添加 LoRA 适配器（Unsloth 版本）──
model = FastLanguageModel.get_peft_model(
    model,
    r=16,                          # rank，从 16 开始
    target_modules=[               # 覆盖所有线性层
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ],
    lora_alpha=32,
    lora_dropout=0,               # Unsloth 建议 0（其优化的内核不支持 dropout）
    bias="none",
    use_gradient_checkpointing="unsloth",  # 使用 Unsloth 智能检查点（比 "true" 更省显存）
    random_state=42,
    use_rslora=False,             # 可设 True 使用 RSLoRA（α/√r 缩放，高 rank 更稳定）
    use_dora=False,               # 可设 True 使用 DoRA（通常效果微好于 LoRA）
)

# ── 步骤 3：数据格式化 ──
# 使用 Alpaca 格式（单轮指令微调）
alpaca_prompt = """Below is an instruction that describes a task.

### Instruction:
{}

### Response:
{}"""

def format_prompts(examples):
    texts = []
    for instr, output in zip(examples["instruction"], examples["output"]):
        # 必须在结尾添加 eos_token，否则模型不知道何时停止生成
        text = alpaca_prompt.format(instr, output) + tokenizer.eos_token
        texts.append(text)
    return {"text": texts}

dataset = load_dataset("json", data_files="train.jsonl", split="train")
dataset = dataset.map(format_prompts, batched=True)

# 可选：分割训练集和验证集（建议留出 5-10% 作验证）
split = dataset.train_test_split(test_size=0.05, seed=42)
train_dataset = split["train"]
eval_dataset = split["test"]

# ── 步骤 4：训练配置 ──
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,      # 验证集用于监控过拟合
    dataset_text_field="text",
    max_seq_length=2048,
    args=SFTConfig(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,    # 等效 batch_size = 8
        warmup_ratio=0.05,               # 前 5% steps 用于 warm-up
        num_train_epochs=3,
        learning_rate=2e-4,
        fp16=not torch.cuda.is_bf16_supported(),
        bf16=torch.cuda.is_bf16_supported(),
        logging_steps=10,
        evaluation_strategy="steps",     # 定期评估，监控 eval loss
        eval_steps=100,
        save_strategy="steps",
        save_steps=200,
        save_total_limit=3,              # 最多保留 3 个检查点
        load_best_model_at_end=True,    # 训练结束后加载最优检查点
        metric_for_best_model="eval_loss",
        optim="adamw_8bit",              # 8-bit Adam 节省显存（约减少 50%）
        weight_decay=0.01,              # 轻量 L2 正则化防止过拟合
        lr_scheduler_type="cosine",     # 余弦衰减
        output_dir="./unsloth-output",
    )
)

# ── 步骤 5：开始训练 ──
trainer_stats = trainer.train()
print(f"训练时长: {trainer_stats.metrics['train_runtime']:.0f}s")
print(f"GPU 显存峰值: {torch.cuda.max_memory_allocated()/1e9:.1f} GB")

超参数调优指南

Loss 曲线解读与过拟合检测

过拟合的诊断与应对

from transformers import EarlyStoppingCallback

# 添加 Early Stopping（eval loss 连续 3 次不改善则停止）
trainer = SFTTrainer(
    ...,
    callbacks=[
        EarlyStoppingCallback(
            early_stopping_patience=3,      # 允许多少次 eval 没有改善
            early_stopping_threshold=0.001,  # 最小改善量（小于此视为未改善）
        )
    ]
)

# 训练后检查最优检查点是哪个步骤
print("最优模型检查点:", trainer.state.best_model_checkpoint)
print("最优 eval loss:", trainer.state.best_metric)

Unsloth 支持的模型与 GPU 需求