2-5 倍更快、省 70% 显存的 LLM 微调库——靠手写 Triton kernel 与优化 autograd，做到零精度损失的 LoRA/QLoRA 微调
微调 LLM 长期以来有两个拦路虎：慢和费显存。一个 7B 模型全参微调动辄要 80GB 显存的 A100，即便是 QLoRA，用原生 HuggingFace + PEFT 也常常在消费级显卡上 OOM，训练一轮要等几个小时。
Unsloth 的做法是把 Transformer 中最热的算子（attention、MLP、RoPE、交叉熵、RMSNorm）用 Triton 手写重构，并手动实现反向传播（autograd），避免 PyTorch 自动求导的冗余显存与计算。结果是同样的模型、同样的数据、同样的超参下，训练快 2-5 倍、显存省最多 70%、且精度不损失一分——一张 16GB 的 T4 就能微调 Llama-3-8B。
Unsloth 支持 Llama、Mistral、Gemma、Qwen、Phi、DeepSeek 等主流开源模型，提供大量免费 Colab notebook，训练完可一键导出 LoRA adapter、合并权重、GGUF（llama.cpp/Ollama）或 vLLM 格式。本教程 10 章从原理讲到端到端实战。
六大特性让 Unsloth 成为消费级显卡微调的首选
手写 Triton kernel + 优化 autograd，同样超参下训练快数倍。
4bit 量化 + 梯度检查点 + 内核融合，T4/RTX 消费卡也能跑 8B。
不做近似，数学上等价原生实现，loss 曲线与 HF 完全对齐。
Llama / Mistral / Gemma / Qwen / Phi / DeepSeek，覆盖视觉多模态。
官方海量 notebook，零成本在免费 GPU 上跑通完整微调。
LoRA / merge 16bit / GGUF / vLLM，直连 Ollama 与 llama.cpp。
10 章从原理到实战，覆盖 LoRA/QLoRA、训练监控、导出部署全链路
微调为何慢/费显存、Unsloth 的加速原理（Triton kernel + 优化 autograd）、支持的模型、Colab 与本地安装。
全参微调 vs PEFT、LoRA 低秩分解、QLoRA 4bit 量化、rank/alpha/dropout、target_modules 选择。
FastLanguageModel.from_pretrained、4bit 加载、max_seq_length、RoPE scaling、get_peft_model 配置。
指令数据格式、chat template、alpaca/sharegpt 格式、formatting_func、packing、train/eval 划分。
TRL SFTTrainer 集成、TrainingArguments、batch/梯度累积、学习率、warmup、bf16、梯度检查点。
trainer.train()、loss 曲线、显存监控、常见 OOM 处理、断点续训与检查点管理。
FastLanguageModel.for_inference、生成参数、streaming 流式输出、对比微调前后效果。
save_pretrained(LoRA)、merge 合并权重、导出 GGUF（llama.cpp）、导出 vLLM、push 到 HuggingFace。
DPOTrainer 偏好对齐、continued pretraining 继续预训练、Unsloth 视觉模型微调、reward modeling 概览。
端到端完整流程：数据→加载 Qwen→QLoRA 训练→评估→导出 GGUF→Ollama 部署，含完整代码与 checklist。