https://answer.freetools.me/tags/%E8%87%AA%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/ Recent content in 自注意力机制 on Answer Hugo -- 0.152.2 zh-cn Mon, 09 Mar 2026 06:58:10 +0800 https://answer.freetools.me/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%B8%BA%E4%BD%95%E4%BC%9A%E9%99%B7%E5%85%A5%E6%97%A0%E9%99%90%E5%BE%AA%E7%8E%AF%E4%BB%8E%E8%87%AA%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E5%88%B0%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E7%9A%84%E9%87%8D%E5%A4%8D%E8%AF%85%E5%92%92/ Mon, 09 Mar 2026 06:58:10 +0800 https://answer.freetools.me/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%B8%BA%E4%BD%95%E4%BC%9A%E9%99%B7%E5%85%A5%E6%97%A0%E9%99%90%E5%BE%AA%E7%8E%AF%E4%BB%8E%E8%87%AA%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E5%88%B0%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E7%9A%84%E9%87%8D%E5%A4%8D%E8%AF%85%E5%92%92/ 深入解析大语言模型生成重复文本的深层机制。从注意力机制的数学原理出发，系统阐述自我强化效应、训练数据影响、注意力汇聚现象，以及温度参数、Top-p采样、重复惩罚、对比搜索等多种解决方案的技术原理与工程实践。涵盖2023-2025年最新研究成果，包括ICLR论文《Repetition In Repetition Out》的核心发现、attention sinks与重复token的关系、特征层面的重复诅咒解析等前沿进展。