Temperature=0为什么不等于确定性输出:大模型推理非确定性的完整技术解析

一个被广泛接受的观点是:只要将大模型的Temperature参数设为0,就能获得确定性的输出。这个直觉看起来很合理——Temperature=0意味着贪婪采样,模型总是选择概率最高的那个token,没有随机性,结果应该可复现。 ...

22 min · 10883 words