为什么大模型每次回答都不一样：从温度参数到批次不变性的完整技术解析
当你向ChatGPT连续两次提出相同的问题，大概率会得到两个不同的回答。很多人知道这是温度参数在作怪，但把温度调到0就能保证确定性吗？答案是否定的。即使temperature=0，OpenAI的API仍然可能返回不同的结果，而你自己部署的开源模型在vLLM或SGLang上推理时，输出同样不稳定。 ...
采样策略
Temperature 参数如何控制大模型的"创造性"与"确定性"
每个使用过大语言模型 API 的人都会遇到一个名为 Temperature 的参数。大多数时候，我们要么忽略它，要么随意调一下。但这个看似简单的数字，实际上决定了模型是"一本正经"还是"天马行空"。 ...