隐藏层维度：为什么这个数字决定了大模型的能力边界
打开任何一个大模型的配置文件，你总能看到一些神秘的数字：BERT的768，GPT-2的1024，LLaMA-7B的4096，GPT-3的12288。这些数字从何而来？为什么不是769或4095？为什么LLaMA选择4096而GPT-3选择12288？更关键的是，这个被称为"隐藏层维度"或"隐藏尺寸"的参数，究竟如何影响模型的能力边界？ ...
打开任何一个大模型的配置文件，你总能看到一些神秘的数字：BERT的768，GPT-2的1024，LLaMA-7B的4096，GPT-3的12288。这些数字从何而来？为什么不是769或4095？为什么LLaMA选择4096而GPT-3选择12288？更关键的是，这个被称为"隐藏层维度"或"隐藏尺寸"的参数，究竟如何影响模型的能力边界？ ...