为何大模型总忽略中间内容：从Lost in the Middle到注意力盆地的技术解密
一个检索增强生成(RAG)系统为回答用户问题，从知识库中检索了10篇相关文档。其中第6篇文档包含了正确答案的关键信息。然而，模型最终输出的答案却是错的——它"看到"了放在第1篇和第10篇的干扰信息，却完全忽略了中间那篇真正有用的文档。 ...
一个检索增强生成(RAG)系统为回答用户问题，从知识库中检索了10篇相关文档。其中第6篇文档包含了正确答案的关键信息。然而，模型最终输出的答案却是错的——它"看到"了放在第1篇和第10篇的干扰信息，却完全忽略了中间那篇真正有用的文档。 ...