修改一个知识为何让千亿参数模型崩溃
2022年，Kevin Meng等人在NeurIPS发表了题为"Locating and Editing Factual Associations in GPT"的论文，提出了ROME（Rank-One Model Editing）方法。研究者们声称，他们可以精确定位模型中存储特定事实的位置，并通过数学手段直接修改权重来更新知识。这篇论文引起了巨大轰动——人们第一次看到了不重新训练就能更新模型知识的希望。 ...
机器遗忘
让大模型忘记有多难？从GDPR被遗忘权到量化恢复的技术困境
2018年5月，欧盟《通用数据保护条例》（GDPR）正式生效。条例第17条赋予个人一项特殊权利——“被遗忘权”（Right to be Forgotten）：当个人数据不再必要时，数据主体有权要求删除这些数据。对于传统数据库系统，这是一个简单的SQL DELETE语句就能解决的问题。但当这项权利遇上千亿参数的大语言模型，事情变得复杂得多。 ...