本地文档检索/RAG 数据准备与评测包：从问题定位到结果验收

这个问题为什么经常做错

文档直接切块丢失标题和来源，Demo 能回答却不知道检索召回是否可靠。

很多项目失败并非缺少更复杂的算法，而是输入口径、验证方式、版本环境和验收标准没有在开始前写清楚。下面先用一条最小闭环完成验证，再决定是否扩大投入。

一条可复现的解决路径

1. 第 1 步：清理版权明确的自有文档。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
2. 第 2 步：按标题与长度切块并保留来源。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
3. 第 3 步：人工编写代表性问题和相关块。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
4. 第 4 步：跑关键词基线定位数据问题。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。
5. 第 5 步：再评估是否需要 embedding/重排。完成后立即保存输入、配置和输出摘要，不要等到最后再补记录。

开始前先准备这四样东西

• 一份只读的原始输入或最小测试样例
• 当前运行环境、依赖版本和系统信息
• 你真正关心的结果指标与容许误差
• 失败时停止、回滚和人工复核的条件

高频错误与修正

不要把无权使用的文档放进知识库

遇到这一情况时，先缩小到能人工核验的样例，打印中间结果，再逐步恢复完整数据。不要只通过调整参数掩盖输入或定义错误。

答案流畅不代表检索正确

遇到这一情况时，先缩小到能人工核验的样例，打印中间结果，再逐步恢复完整数据。不要只通过调整参数掩盖输入或定义错误。

评测集不能只挑容易问题

遇到这一情况时，先缩小到能人工核验的样例，打印中间结果，再逐步恢复完整数据。不要只通过调整参数掩盖输入或定义错误。

如何判断已经完成

至少满足以下条件再宣称任务完成：

• 每个块可追溯源文件和标题
• 评测集覆盖常见/边界/无答案问题
• 报告 Recall@k
• 无答案时有拒答策略

此外，还应让另一台机器或一个全新目录按照 README 从零运行一次。只有“结果可重现、错误可定位、输出可解释”，才算形成可交付成果。

需要完整模板时怎么办

先用无需付费 API 的 TF-IDF 基线验证切块、元数据和评测集，再替换向量模型。对应的完整资料包提供可修改模板、专项检查表、验收标准与官方来源说明。只需要理解思路时，本文已经足够；需要节省搭建时间、直接在样例上验证时，再考虑购买。

官方资料入口

• scikit-learn 文本特征
• 余弦相似度

本文根据公开官方资料独立整理，不包含第三方付费教程、论文全文或受限数据集。工具版本会变化，实际使用时请再次核对官方当前文档。