FFN如何成为大模型的"知识仓库":从键值存储到知识编辑的技术真相

当GPT-4被问到"法国的首都是哪里"时,它能准确回答"巴黎"。这个看似简单的过程背后,隐藏着一个深刻的问题:大模型是如何"记住"这些事实的?是参数随机分布,还是有组织的存储? ...

11 min · 5480 words