RAG重排序:为什么多花几毫秒能让检索准确率提升40%

2023年,一篇来自斯坦福大学的研究揭示了一个令人深思的现象:当大语言模型的上下文窗口被大量文档填充时,模型从中间位置检索信息的能力反而不如不提供任何上下文时——这就是著名的"Lost in the Middle"效应。这个发现直接击中了RAG系统的软肋:如果我们为了提高召回率而返回更多文档,却反而降低了LLM的推理质量,那这个权衡还有什么意义? ...

12 min · 5937 words