大模型解码策略全景解析：从贪婪搜索到动态阈值采样的二十年演进

Top-p的优势：

• 动态适应不同场景的确定性程度
• 在高确定性场景中减少噪音选项
• 在低确定性场景中保留足够多样性

Top-p的局限： 当模型极度不确定时（概率分布非常平坦），Top-p会保留大量低质量词元，可能导致生成内容变得混乱。这一问题在高温设置下尤为明显。

第四部分：高级采样方法

随着研究的深入，研究者们提出了多种改进方案，试图更好地平衡生成质量与多样性。

Min-p采样：基于置信度的动态阈值

Min-p采样 由Nguyen等人于2025年在ICLR会议上发表（Oral Presentation，排名第18位的高分论文）。其核心思想是将采样阈值与模型的置信度挂钩。

算法原理：

其中 $p_{\text{max}}$ 是最高概率词元的概率值。只有概率不低于 $p_{\text{scaled}}$ 的词元才会被保留。

直观理解：

• 当模型高度自信时（$p_{\text{max}}$ 高），阈值更高，保留更少选项
• 当模型不太确定时（$p_{\text{max}}$ 低），阈值降低，允许更多选项

graph LR
    subgraph 高置信度场景
        A1["p_max = 0.90<br/>min_p = 0.1"]
        A2["阈值 = 0.09"]
        A3["只有'巴黎'被保留<br/>严格筛选"]
    end
    
    subgraph 低置信度场景
        B1["p_max = 0.15<br/>min_p = 0.1"]
        B2["阈值 = 0.015"]
        B3["多个选项被保留<br/>宽松筛选"]
    end

Min-p的争议： 值得注意的是，2025年6月发表的一篇批评论文"Turning Down the Heat: A Critical Analysis of Min-p Sampling in Language Models"对原始论文提出了多项质疑：

1. 人类评估数据省略：原始论文在人类评估中省略了基础采样（basic sampling）的结果，只报告了Min-p与Top-p的比较
2. 统计检验问题：批评者重新分析后发现，在大多数设置下，Min-p与其他方法无显著差异
3. 社区采用数据撤回：原始论文声称"54,000个GitHub仓库使用Min-p”，该数据已被证实不可靠并被撤回

这场学术争议提醒我们：即使是顶级会议的Oral论文，也需要批判性地审视其方法论和结论。

Top-n-sigma采样：温度无关的截断

Top-n-sigma采样 由Tang等人（2025）在ACL会议上发表，解决了所有基于概率的截断方法的一个共同问题——温度耦合。

温度耦合问题： 当使用Top-p或Min-p时，改变温度会同时影响：

1. 词元之间的相对概率
2. 截断阈值下的候选集合

这使得参数调优变得复杂：无法独立控制"选择哪些候选"和"如何随机选择"。

Top-n-sigma的解决方案： 直接在logits空间进行操作，使用标准差作为阈值：

保留所有logits不低于此阈值的词元。

核心优势：当温度变化时，最大值和标准差会同步缩放，使得保留的候选集合保持不变。

# Top-n-sigma实现（仅两行代码）
threshold = logits.max() - n * logits.std()
logits[logits < threshold] = float('-inf')

典型采样：信息论视角

典型采样（Typical Sampling） 由Meister等人（2022）提出，基于信息论的分析框架。

核心洞察：人类使用语言时，倾向于选择信息量接近期望信息量的词元。

信息量定义：$I(w) = -\log P(w | w_{

期望信息量：$H = -\sum_w P(w | w_{

典型采样保留那些信息量接近条件熵的词元，而非单纯选择高概率词元。这一方法在减少重复退化的同时，保持了与人类写作相似的统计特性。

Mirostat：直接控制困惑度

Mirostat 由Basu等人（2020）提出，采用控制理论的视角。

核心思想：通过反馈机制实时监控生成文本的困惑度（perplexity），并动态调整截断参数。

• 如果生成的文本过于可预测（低困惑度），放松约束，增加多样性
• 如果生成的文本过于混乱（高困惑度），收紧约束，提高连贯性

Mirostat定义了两种陷阱：

1. 无聊陷阱（Boredom Trap）：k或p值过低，导致困惑度持续下降，文本陷入重复
2. 困惑陷阱（Confusion Trap）：k或p值过高，导致困惑度持续上升，文本变得不连贯

对比解码：专家与业余的较量

对比解码（Contrastive Decoding） 由Li等人（2023）提出，需要两个模型：

• 专家模型：大型、能力强的模型
• 业余模型：小型、能力弱的模型

解码时选择专家模型认为概率高，但业余模型认为概率低的词元：

直觉：业余模型倾向于依赖表面模式（如常见搭配），而专家模型能理解更深层的语义。对比两者的差异可以抑制表面模式，促进真正的推理。

第五部分：惩罚机制

除了采样策略，大模型解码还涉及多种惩罚机制，用于控制生成文本的特性。

重复惩罚（Repetition Penalty）

最早的重复惩罚由Keskar等人（2019）在CTRL论文中提出。对已出现的词元的logits进行惩罚：

其中 $\theta > 1$ 是惩罚系数。

注意：简单的除法实现存在bug——对负logits除以大于1的数会使其变大（更接近0），反而增加了概率。上述公式修正了这一问题。

频率惩罚（Frequency Penalty）

频率惩罚与词元的出现次数成正比：

其中 $c$ 是惩罚系数，$\text{count}(w_i)$ 是词元 $w_i$ 已出现的次数。

效果：一个词出现次数越多，后续被选中的概率越低。

存在惩罚（Presence Penalty）

存在惩罚是一次性的：

其中 $p$ 是惩罚系数，$\mathbb{1}$ 是指示函数。

区别：存在惩罚与出现次数无关，只要词元出现过就施加相同的惩罚。

graph TD
    subgraph 频率惩罚
        F1["词元出现1次: -0.1"]
        F2["词元出现5次: -0.5"]
        F3["词元出现10次: -1.0"]
    end
    
    subgraph 存在惩罚
        P1["词元出现1次: -0.5"]
        P2["词元出现5次: -0.5"]
        P3["词元出现10次: -0.5"]
    end
    
    style F3 fill:#ffcdd2
    style P1 fill:#c8e6c9
    style P2 fill:#c8e6c9
    style P3 fill:#c8e6c9

第六部分：采样处理管道

在实际应用中，多种采样策略通常组合使用。处理顺序会显著影响最终输出。

以llama.cpp为例，默认的采样管道顺序为：

logits → 惩罚 → DRY → top_n_sigma → top_k → typical → top_p → min_p → xtc → temperature → 采样

flowchart LR
    A[原始Logits] --> B[惩罚机制]
    B --> C[DRY重复抑制]
    C --> D[Top-n-sigma]
    D --> E[Top-k]
    E --> F[典型采样]
    F --> G[Top-p]
    G --> H[Min-p]
    H --> I[XTC]
    I --> J[温度调整]
    J --> K[最终采样]
    
    style A fill:#e3f2fd
    style K fill:#c8e6c9

关键观察：

1. 惩罚优先执行：在截断之前应用惩罚，确保被惩罚的词元在截断阶段会被正确处理。

2. 温度最后执行：温度调整在所有截断之后进行。这意味着高温设置不会引入已被截断方法过滤掉的噪音词元。

3. 框架差异：不同框架的实现顺序可能不同。例如，HuggingFace Transformers默认在截断之前应用温度，这会导致相同参数产生不同输出。

重要提醒：如果在一个框架中调优参数，然后在另一个框架中部署，务必验证采样管道的实现顺序是否一致。

第七部分：实践指南

不同场景的参数推荐

主流服务商默认参数

推理模型的特殊处理

OpenAI的o1、o3等推理模型锁定了采样参数：

• 温度固定为1.0
• Top-p固定为1.0
• 用户无法修改这些参数

原因：推理模型在内部运行多条思维链，评估后选择最佳结果。如果温度设为0，所有思维链会塌缩为相同的路径，失去了多路径推理的意义。

第八部分：前沿发展与开放问题

学术界的争议焦点

Min-p采样的争议揭示了解码策略研究中的几个深层问题：

mindmap
  root((Min-p争议))
    方法论问题
      人类评估数据省略
      统计检验不正确
      LLM-as-Judge报告不一致
    数据可靠性
      社区采用数据撤回
      54k仓库数据造假
    启示
      批判性审视顶会论文
      验证可复现性
      关注方法论细节

1. 评估标准不一致：不同论文使用不同的基准数据集、评估指标和统计方法，使得结果难以比较。

2. 超参数调优的不公平：某些方法可能因为获得了更多的超参数调优而表现出优势。

3. 人类评估的主观性：文本质量的评判具有高度主观性，评估者背景会影响结果。

实际应用中的挑战

1. 框架兼容性：同一参数在不同推理框架中的行为可能不同。

2. 计算开销：某些高级方法（如对比解码需要两个模型）增加了推理成本。

3. 任务特异性：没有放之四海而皆准的最佳参数，需要针对具体任务调优。

未来方向

1. 自适应采样：根据输入上下文和生成状态动态选择采样策略。

2. 任务感知解码：结合任务类型自动选择最优解码配置。

3. 理论分析：建立解码策略的理论框架，而非仅依赖经验调参。

总结

解码策略是大语言模型文本生成的关键环节，二十年来经历了从简单到复杂、从静态到动态的演进历程：

• 确定性方法（贪婪解码、束搜索）简单高效，但缺乏多样性
• 基础随机方法（温度、Top-k、Top-p）引入随机性，但参数选择依赖经验
• 高级方法（Min-p、Top-n-sigma、典型采样）试图自适应地平衡质量与多样性
• 惩罚机制提供了控制重复性和多样性的补充手段

选择解码策略时，需要综合考虑：

1. 任务类型：事实性任务 vs 创造性任务
2. 模型特性：不同模型可能对参数敏感度不同
3. 用户期望：确定性输出 vs 多样性输出
4. 计算资源：复杂方法可能增加推理开销

解码策略的研究仍在快速发展中。Min-p采样引发的学术争议提醒我们，即使是在顶级会议上发表的成果，也需要保持批判性思维。理解各种方法的原理和局限，才能在实践中做出明智的选择。

参考文献

1. Holtzman, A., et al. (2020). The Curious Case of Neural Text Degeneration. ICLR 2020.
2. Fan, A., et al. (2018). Hierarchical Neural Story Generation. ACL 2018.
3. Nguyen, N.M., et al. (2025). Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs. ICLR 2025.
4. Schaeffer, R., et al. (2025). Turning Down the Heat: A Critical Analysis of Min-p Sampling in Language Models. arXiv:2506.13681.
5. Tang, C., et al. (2025). Top-nσ: Not All Logits Are You Need. ACL 2025.
6. Meister, C., et al. (2022). Locally Typical Sampling. TACL 2022.
7. Basu, S., et al. (2020). Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity. ICLR 2021.
8. Li, X.L., et al. (2023). Contrastive Decoding: Open-ended Text Generation as Optimization. ACL 2023.
9. Keskar, N.S., et al. (2019). CTRL: A Conditional Transformer Language Model for Controllable Generation.
10. Hewitt, J., et al. (2022). Truncation Sampling as Language Model Desmoothing. EMNLP 2022.
11. Wang, X., & Zhou, D. (2024). Chain-of-Thought Reasoning Without Prompting. arXiv:2402.10200.
12. Grattafiori, A., et al. (2024). The Llama 3 Herd of Models.
13. Jiang, A.Q., et al. (2023). Mistral 7B.
14. Kwon, W., et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023.
15. Wolf, T., et al. (2020). Transformers: State-of-the-art Natural Language Processing. EMNLP 2020 Demo.
16. Rein, D., et al. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark.
17. Cobbe, K., et al. (2021). Training Verifiers to Solve Math Word Problems.
18. Li, X., et al. (2023). AlpacaEval: An Automatic Evaluator of Instruction-following Models.
19. Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena.
20. DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.
21. Zhou, Y., et al. (2024). Balancing Diversity and Risk in LLM Sampling.
22. Zhu, W., et al. (2024). Improving Open-ended Text Generation via Adaptive Decoding.
23. Pillutla, K., et al. (2023). MAUVE Scores for Generative Models: Theory and Practice.
24. Vendrow, J., et al. (2025). GSM8K Issues and Their Implications.
25. Zhang, S., et al. (2024). EDT: Improving Large Language Models’ Generation by Entropy-based Dynamic Temperature Sampling.
26. Dhuliawala, S., et al. (2024). Adaptive Decoding via Latent Preference Optimization.
27. Tajwar, F., et al. (2025). Training a Generally Curious Agent.
28. Stolfo, A., et al. (2024). Confidence Regulation Neurons in Language Models.
29. Castel, O., et al. (2022). How Optimal is Greedy Decoding for Extractive Question Answering?
30. Wiher, G., et al. (2022). On Decoding Strategies for Neural Text Generators.
31. Gao, L., et al. (2021). A Framework for Few-shot Language Model Evaluation.
32. Biderman, S., et al. (2024). Lessons from the Trenches on Reproducible Evaluation of Language Models.
33. Van Der Lee, C., et al. (2019). Best Practices for the Human Evaluation of Automatically Generated Text.
34. Roller, S., et al. (2020). Best Practices for Dialogue Research Evaluation.
35. Howcroft, D.M., et al. (2020. Twenty Years of Confusion in Human Evaluation.
36. Clark, E., et al. (2021). All That’s ‘Human’ is Not Gold.
37. Liang, P., et al. (2022). Holistic Evaluation of Language Models.
38. Khashabi, D., et al. (2022). The Gap Between Human Evaluation and Automatic Metrics.
39. Chiang, W.L., et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs.
40. Nakano, R., et al. (2021). WebGPT: Browser-assisted Question-answering with Human Feedback.
41. Stiennon, J., et al. (2020). Learning to Summarize with Human Feedback.
42. Hughes, M., et al. (2024). Best-of-N Sampling for Language Models.
43. Xu, H., et al. (2025). Non-transitivity in LLM Evaluation.
44. Gusev, I. (2023). Quantitative Evaluation of Modern LLM Sampling Techniques.
45. Gusev, I. (2024). Comparing Sampling Techniques for Creative Writing and Role-play.
46. Paech, S.J. (2024). EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models.
47. Dal Maso, R. (2024). llm-eval: LLM Evaluation Framework.
48. xjdr & doomslide. (2024). Entropix: Entropy Based Sampling and Parallel CoT Decoding.
49. Maso (2024). Min-p Sampling Visualization.
50. OpenAI API Documentation - Sampling Parameters.
51. Anthropic API Documentation - Generation Parameters.
52. Hugging Face Transformers Documentation - Generation Configuration.
53. llama.cpp Documentation - Sampling Pipeline.
54. vLLM Documentation - Sampling Parameters.
55. SGLang Documentation - Efficient Execution of Structured Language Model Programs.