第三讲：做出带证据的 RAG 基线

先找到证据，再组织答案

RAG 把外部资料检索进模型上下文。我们的助手先将资料切成带出处的片段，再检索相关片段，最后生成回答与引用。索引阶段和回答阶段分开：资料更新时重新处理对应片段，提问时只检索当前索引。

切分不能切掉出处和条件

本站练习先按完整段落切分三份短说明。每个片段保存 document_id、chunk_id、版本和正文。比较检索方法时固定这套资料；如果问题依赖两个段落，记录是否同时取到，避免只命中标题就判定检索成功。

先写一个可解释的检索基线

下面是本站编写的关键词检索练习，可用 Python 标准库运行。它检查问题里的词是否出现在片段中，返回命中片段及 ID；这不是向量检索，也没有连接 LLM。跑通后，再用同一评测集比较 BM25、向量检索、混合检索或重排的收益。

chunks = [
    {"id": "policy-01", "text": "作业可以讨论，但须独立提交。"},
    {"id": "schedule-01", "text": "练习课在周三下午举行。"},
    {"id": "access-01", "text": "公开视频不需要课程账号。"},
]

def retrieve(terms, limit=2):
    ranked = [(sum(term in item["text"] for term in terms), item)
              for item in chunks]
    ranked.sort(key=lambda pair: pair[0], reverse=True)
    return [item for score, item in ranked if score > 0][:limit]

print(retrieve(["作业", "提交"]))
print(retrieve(["报名", "截止"]))  # 无证据，返回 []

分开检查检索与生成

同一个错误回答要追问两件事：正确片段有没有进入上下文，回答有没有忠实使用片段。评测表分别记录检索命中、回答事实和引用支持。资料没有覆盖的问题应说明缺口；互相冲突的材料应保留冲突，不能编一个统一答案。

需要多轮检索时再增加 Agent

本站扩展练习允许在证据不足时改写查询，最多补检索两轮，并保存每轮词和返回片段。即使到了上限也不补造事实。先对比固定 RAG 基线和多轮检索在同一组问题上的实际收益，再决定是否保留循环。