上下文窗口

大模型的上下文窗口：从Token限制到有效上下文管理的完整解析 当你向一个语言模型发送请求时，你有没有想过：为什么有些模型只能处理几千字，而有些却能吞下整本书？为什么即便模型声称支持128K上下文，你的长文档问答效果却时好时坏？为什么同样的提示词放在文档开头和中间，模型的回答准确率会相差几十个百分点？ ...

你有没有这样的经历：和一个AI助手聊了很久，详细告诉它你的饮食偏好、工作习惯、兴趣爱好，几周后再打开对话，它却像第一次认识你一样，问你是不是素食者——明明你上次已经说过不下三次。这不是AI"健忘"，而是它从未真正"记住"过任何东西。 ...