大模型为什么会产生涌现能力？从Scaling Laws到相变理论的科学解密
2022年，Google Research的研究者们做了一个看似简单的实验：让不同规模的语言模型做三位数加法。结果令人困惑——参数量从100万到100亿的模型，准确率几乎为零；但当参数量突破某个临界点后，准确率突然飙升到80%以上。 ...
GPT
Tokenizer决定大模型"看到"的世界：从BPE算法到草莓问题的技术解密
2024年，一个奇怪的现象在社交媒体上引发热议：当用户问ChatGPT"strawberry这个词里有几个r"时，模型自信地回答"两个"。这个错误如此基础，以至于有人质疑：连小学生都能数对的事，为什么拥有数千亿参数的大模型做不到？ ...