大模型为什么会产生涌现能力？从Scaling Laws到相变理论的科学解密
2022年，Google Research的研究者们做了一个看似简单的实验：让不同规模的语言模型做三位数加法。结果令人困惑——参数量从100万到100亿的模型，准确率几乎为零；但当参数量突破某个临界点后，准确率突然飙升到80%以上。 ...
Emergent Abilities
当参数突破临界点：AI模型为什么会突然"开窍"
2022年，Google Research的研究者在分析GPT-3系列模型的算术能力时，发现了一个令人费解的现象：在三位数加法任务上，60亿参数的模型准确率仅为1%，130亿参数的模型提升到8%，但当模型扩展到1750亿参数时，准确率突然跳跃到80%。这不是渐进式的提升，而是近乎垂直的跃迁。 ...