本研究由Facebook AI、University of华盛顿和普林斯顿大学的研究团队共同完成，主要作者包括Vladimir Karpukhin、Barlas Oğuz、Sewon Min等。研究成果发表于2020年11月的《Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing》（EMNLP 2020），论文标题为《Dense Passage Retrieval for Open-Domain Question Answering》。
开放领域问答（Open-Domain QA）是一项通过大规模文档集合回答事实性问题的任务。传统方法通常采用两阶段框架：首先通过检索器（Retriever）筛选出可能包含答案的段落，再通过阅读器（Reader）从候选段落中提取答案。然而，传统检索方法（如TF-IDF或BM25）依赖稀疏向量表示，难以捕捉语义关联，导致检索精度受限。
本研究旨在探索一种基于密集向量表示（Dense Representation）的检索方法——密集段落检索器（Dense Passage Retriever, DPR），以替代传统稀疏检索。研究核心问题包括：
1. 是否仅通过少量问题-段落对训练即可实现优于BM25的检索性能？
2. 密集检索如何提升端到端问答系统的准确率？
3.1 数据准备
- 文档处理：使用2018年12月的英文Wikipedia dump作为数据源，通过预处理去除半结构化内容（如表格、列表），并将每篇文章分割为固定长度（100词）的非重叠段落，共生成21,015,324个段落。
- 问答数据集：实验涵盖5个开放领域问答数据集：Natural Questions (NQ)、TriviaQA、WebQuestions (WQ)、CuratedTREC (TREC)和SQuAD。对于部分数据集（如WQ和TREC），通过BM25筛选包含答案的段落作为正例。
3.2 密集检索器设计
- 双编码器架构（Dual-Encoder）：
- 问题编码器（Question Encoder）和段落编码器（Passage Encoder）均基于BERT（Base, Uncased）模型，输出768维向量。
- 相似度计算采用点积（Dot Product）形式：( \text{sim}(q, p) = E_q(q)^T E_p(p) )。
- 训练策略：
- 损失函数：负对数似然（Negative Log-Likelihood），优化目标为最大化问题与正例段落的相似度。
- 负例采样：结合三种负例类型——随机段落、BM25返回的非答案段落、其他问题的正例段落（In-Batch Negatives）。实验表明，结合BM25硬负例和同批次负例效果最佳。
3.3 端到端问答系统
- 阅读器（Reader）：基于BERT的跨注意力机制，对检索器返回的Top-K段落进行答案抽取和重排序。
- 联合训练：尝试联合优化检索器和阅读器，但实验表明分阶段训练（先检索器后阅读器）效果更优。
4.1 检索性能对比
- DPR vs. BM25：在NQ数据集上，DPR的Top-20检索准确率达78.4%，显著高于BM25的59.1%。跨数据集测试中，DPR在WebQuestions和TREC上分别提升20%和18%的准确率。
- 样本效率：仅需1,000训练样本即可超越BM25，显示密集检索在小样本场景下的优越性。
4.2 端到端问答表现
- DPR驱动的问答系统在NQ和TriviaQA上分别达到41.5%和56.8%的精确匹配（Exact Match）准确率，超越此前最优模型（如ORQA和REALM）。
- 在较小数据集（如WQ和TREC）上，多数据集训练的DPR进一步提升性能，验证其泛化能力。
科学价值：
1. 方法创新：证明仅通过问题-段落对微调BERT编码器即可实现高效密集检索，无需复杂预训练任务（如ORQA的ICT目标）。
2. 性能突破：首次在开放领域问答中实现密集检索对稀疏检索的全面超越，Top-5准确率提升22.3%（65.2% vs. 42.9%）。
应用价值：
- 为开放领域问答系统提供高效检索方案，检索速度达995次/秒（BM25为23.7次/秒/线程）。
- 代码与模型已开源（GitHub: facebookresearch/dpr），推动社区发展。
该研究为开放领域问答的检索环节提供了新的技术路径，其简洁性、高效性和强泛化能力具有广泛的学术与工程应用前景。