RAG 评估专题:四个指标定位"检索还是生成"

RAG 的四条失败路径

一个"回答错了"的 RAG 请求,错可能错在 4 个地方:

一个好的 RAG 评估体系要让你能回答:"这次错了,错在 A/B/C/D 哪个?"而不是只能说"错了"。

RAGAS 的四象限

RAGAS(Retrieval-Augmented Generation Assessment)提出 4 个正交指标,构成 2×2 矩阵:

指标 1:Faithfulness(忠实度)

FAITHFULNESS_PROMPT = """下面是一个问题、检索到的上下文、以及模型给出的答案。

问题: {question}
上下文: {context}
答案: {answer}

第一步:把答案拆成独立的事实陈述(每行一个)。
第二步:对每个陈述,判断上下文是否支持它(YES/NO)。

返回 JSON:
{{
  "claims": [
    {{"claim": "...", "supported": true}},
    {{"claim": "...", "supported": false}}
  ]
}}"""

def faithfulness(question, context, answer):
    result = judge_llm(FAITHFULNESS_PROMPT.format(...))
    claims = result["claims"]
    if not claims: return 1.0
    return sum(c["supported"] for c in claims) / len(claims)

指标 2:Answer Relevancy(答案相关性)

指标 3:Context Precision(上下文精度)

指标 4:Context Recall(上下文召回)

四个指标如何组合诊断

RAGAS 上手

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
from datasets import Dataset

data = {
    "question": ["公司的退款政策是什么?"],
    "answer":   ["支持 7 天无理由退款,发起后 3-5 个工作日到账。"],
    "contexts": [["本公司支持 7 天无理由退款...", "另有会员等级说明..."]],
    "ground_truth": ["支持 7 天无理由退,3-5 天到账"],
}

ds = Dataset.from_dict(data)
result = evaluate(
    ds,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],
)
print(result)
# {'faithfulness': 1.0, 'answer_relevancy': 0.95,
#  'context_precision': 0.85, 'context_recall': 1.0}

超越 RAGAS:更细粒度的检索指标

如果你能标注"哪些文档是黄金正确文档",可以用传统 IR 指标,比 RAGAS 更精确:

def hit_at_k(retrieved_ids, gold_ids, k=5):
    return int(any(doc_id in gold_ids for doc_id in retrieved_ids[:k]))

def mrr(retrieved_ids, gold_ids):
    for i, doc_id in enumerate(retrieved_ids, 1):
        if doc_id in gold_ids: return 1.0 / i
    return 0.0

import numpy as np
def ndcg_at_k(retrieved_ids, gold_relevance, k=5):
    # gold_relevance: dict[doc_id -> 相关度 0/1/2/3]
    dcg = sum(
        gold_relevance.get(d, 0) / np.log2(i + 2)
        for i, d in enumerate(retrieved_ids[:k])
    )
    ideal = sorted(gold_relevance.values(), reverse=True)[:k]
    idcg = sum(r / np.log2(i + 2) for i, r in enumerate(ideal))
    return dcg / idcg if idcg else 0.0

生成阶段专项:Citation Accuracy

如果你的 RAG 要求带引用,应该额外评估:

• Citation presence:每个事实陈述是否有引用标注
• Citation pointing correctness:引用指向的 chunk 是否真的支持该陈述
• Citation coverage:引用覆盖的陈述占比

# 简化版 citation 校验
def check_citations(answer_with_citations, contexts):
    # 答案格式: "xxx[1] yyy[2]", 每个 [n] 对应 contexts[n-1]
    claims_with_refs = parse_claims(answer_with_citations)  # 自行实现
    n_supported = 0
    for claim, ref_idx in claims_with_refs:
        if llm_entails(claim, contexts[ref_idx]):
            n_supported += 1
    return n_supported / len(claims_with_refs)

评估集的特殊要求

RAG 评估集除了常规字段,还要包含:

• question — 用户问题
• ground_truth_answer — 标准答案
• ground_truth_docs — 回答此问题需要的黄金文档 ID 列表
• question_type — 事实型 / 总结型 / 多跳推理 / 无答案
• difficulty — 简单 / 中等 / 难

本章小结