修改一个知识为何让千亿参数模型崩溃
2022年，Kevin Meng等人在NeurIPS发表了题为"Locating and Editing Factual Associations in GPT"的论文，提出了ROME（Rank-One Model Editing）方法。研究者们声称，他们可以精确定位模型中存储特定事实的位置，并通过数学手段直接修改权重来更新知识。这篇论文引起了巨大轰动——人们第一次看到了不重新训练就能更新模型知识的希望。 ...
模型崩溃
合成数据训练大模型：从Phi的成功到模型崩溃的十五年博弈
2023年6月，微软研究院发布了一篇标题充满争议性的论文：《Textbooks Are All You Need》。论文介绍了phi-1模型——一个仅有13亿参数的语言模型，在HumanEval代码基准测试上达到了50.6%的pass@1准确率，超越了拥有超过100倍参数的模型。秘密在于它的训练数据：70亿token的网页数据和10亿token由GPT-3.5生成的合成教科书数据。 ...