RAG 评估与调优

为什么需要系统化评估

RAG 系统的质量很难凭直觉判断——你看到 LLM 给出了一段流畅的回答，但它可能是编造的，也可能是基于错误的文档片段。没有量化指标，优化就是在黑暗中摸索。

RAG 评估需要覆盖两个维度：

• 检索质量：找到的文档是否真的相关？
• 生成质量：基于文档的答案是否准确、完整、不幻觉？

RAGAS 评估框架

RAGAS 快速上手

# pip install ragas langchain-openai
from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
    answer_correctness,
)
from datasets import Dataset
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

# 准备评估数据集
# 格式：问题 + 检索到的上下文 + 生成答案 + 参考答案
eval_data = {
    "question": [
        "RAG 是什么？",
        "Qdrant 使用什么索引算法？",
        "文档分块的最佳实践是什么？",
    ],
    "contexts": [
        ["RAG（检索增强生成）由 Meta AI 于 2020 年提出，解决 LLM 的知识截止和幻觉问题..."],
        ["Qdrant 使用 HNSW（分层可导航小世界图）作为默认向量索引..."],
        ["推荐使用递归字符分块，chunk_size=1000，overlap=150..."],
    ],
    "answer": [
        "RAG 是检索增强生成，通过在生成前检索相关文档来减少幻觉。",
        "Qdrant 默认使用 HNSW 索引。",
        "最佳实践是使用递归分块，块大小 1000 字符，重叠 150 字符。",
    ],
    "ground_truth": [
        "RAG（检索增强生成）是 Meta AI 于 2020 年提出的技术，结合检索和生成来解决 LLM 幻觉问题。",
        "Qdrant 使用 HNSW（分层可导航小世界图）索引算法。",
        "推荐使用递归字符分块策略，通用起始参数是 chunk_size=1000, chunk_overlap=150。",
    ],
}

dataset = Dataset.from_dict(eval_data)

# 配置评估使用的模型
from ragas.llms import LangchainLLMWrapper
from ragas.embeddings import LangchainEmbeddingsWrapper

ragas_llm = LangchainLLMWrapper(ChatOpenAI(model="gpt-4o"))
ragas_emb = LangchainEmbeddingsWrapper(OpenAIEmbeddings())

# 运行评估
result = evaluate(
    dataset=dataset,
    metrics=[
        faithfulness,
        answer_relevancy,
        context_precision,
        context_recall,
        answer_correctness,
    ],
    llm=ragas_llm,
    embeddings=ragas_emb,
)

print(result)
# 输出示例：
# {'faithfulness': 0.923,
#  'answer_relevancy': 0.951,
#  'context_precision': 0.875,
#  'context_recall': 0.912,
#  'answer_correctness': 0.887}

# 转 DataFrame 查看明细
df = result.to_pandas()
print(df[["question", "faithfulness", "answer_relevancy"]])

自动构建评估数据集

手工标注问答对成本高昂。RAGAS 提供了 Testset Generator，可以从文档自动生成高质量的评估集。

from ragas.testset import TestsetGenerator
from ragas.testset.evolutions import simple, reasoning, multi_context

generator = TestsetGenerator.with_openai(
    generator_llm="gpt-4o",
    critic_llm="gpt-4o",
    embeddings="text-embedding-3-small",
)

# 从文档生成测试集
testset = generator.generate_with_langchain_docs(
    documents=docs,
    test_size=50,          # 生成 50 个问答对
    distributions={
        simple: 0.5,       # 50% 简单问题
        reasoning: 0.25,   # 25% 推理型问题
        multi_context: 0.25 # 25% 需要多文档的问题
    }
)

testset_df = testset.to_pandas()
print(testset_df.head())
testset_df.to_csv("rag_testset.csv", index=False)

常见失败模式与诊断

端到端评估流水线

import pandas as pd
from tqdm import tqdm

def run_rag_pipeline(question: str) -> dict:
    """运行 RAG 系统并收集中间结果"""
    # 检索
    retrieved_docs = retriever.invoke(question)
    contexts = [doc.page_content for doc in retrieved_docs]

    # 生成
    answer = rag_chain.invoke(question)

    return {
        "question": question,
        "contexts": contexts,
        "answer": answer,
    }

# 批量运行评估集
testset_df = pd.read_csv("rag_testset.csv")
results = []

for _, row in tqdm(testset_df.iterrows(), total=len(testset_df)):
    result = run_rag_pipeline(row["question"])
    result["ground_truth"] = row["ground_truth"]
    results.append(result)

# 用 RAGAS 评估
eval_dataset = Dataset.from_list(results)
scores = evaluate(
    eval_dataset,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall]
)

# 保存报告
report_df = scores.to_pandas()
report_df.to_csv("rag_evaluation_report.csv", index=False)

# 打印摘要
print("\n=== RAG 评估报告 ===")
print(f"忠实性:      {scores['faithfulness']:.3f}")
print(f"答案相关性:  {scores['answer_relevancy']:.3f}")
print(f"上下文精确率:{scores['context_precision']:.3f}")
print(f"上下文召回率:{scores['context_recall']:.3f}")

RAG 调优策略矩阵

语义缓存（Semantic Cache）

对相似的查询缓存结果，避免重复调用 LLM，大幅降低成本和延迟。

from langchain.globals import set_llm_cache
from langchain_community.cache import RedisSemanticCache

# 语义缓存：相似问题命中缓存（不需要完全一致）
set_llm_cache(RedisSemanticCache(
    redis_url="redis://localhost:6379",
    embedding=OpenAIEmbeddings(),
    score_threshold=0.95,  # 相似度超过 0.95 才命中缓存
))

# 第一次查询：调用 LLM，存入缓存
r1 = rag_chain.invoke("HNSW 索引是什么？")

# 第二次相似查询：直接命中缓存，不调用 LLM
r2 = rag_chain.invoke("HNSW 是什么索引？")  # 命中缓存！

print("缓存命中，节省一次 LLM 调用")