修改一个知识为何让千亿参数模型崩溃
2022年，Kevin Meng等人在NeurIPS发表了题为"Locating and Editing Factual Associations in GPT"的论文，提出了ROME（Rank-One Model Editing）方法。研究者们声称，他们可以精确定位模型中存储特定事实的位置，并通过数学手段直接修改权重来更新知识。这篇论文引起了巨大轰动——人们第一次看到了不重新训练就能更新模型知识的希望。 ...
ROME
FFN如何成为大模型的"知识仓库"：从键值存储到知识编辑的技术真相
当GPT-4被问到"法国的首都是哪里"时，它能准确回答"巴黎"。这个看似简单的过程背后，隐藏着一个深刻的问题：大模型是如何"记住"这些事实的？是参数随机分布，还是有组织的存储？ ...
为什么修改大模型中的一个知识点会引发连锁崩溃
2022年，斯坦福大学的研究团队发表了一篇引人注目的论文。他们声称找到了一种方法，可以精准地修改大语言模型中的特定知识，而不影响其他能力。方法叫做ROME（Rank-One Model Editing），原理听起来很优雅：先用因果追踪定位知识存储的位置，然后像编辑数据库一样修改那个位置。 ...