https://answer.freetools.me/tags/alibi/ Recent content in ALiBi on Answer Hugo -- 0.152.2 zh-cn Thu, 12 Mar 2026 17:23:09 +0800 https://answer.freetools.me/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E5%A4%96%E6%8E%A8%E6%80%A7%E4%B8%BA%E4%BB%80%E4%B9%88transformer%E6%97%A0%E6%B3%95%E5%A4%84%E7%90%86%E6%AF%94%E8%AE%AD%E7%BB%83%E6%97%B6%E6%9B%B4%E9%95%BF%E7%9A%84%E5%BA%8F%E5%88%97/ Thu, 12 Mar 2026 17:23:09 +0800 https://answer.freetools.me/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E5%A4%96%E6%8E%A8%E6%80%A7%E4%B8%BA%E4%BB%80%E4%B9%88transformer%E6%97%A0%E6%B3%95%E5%A4%84%E7%90%86%E6%AF%94%E8%AE%AD%E7%BB%83%E6%97%B6%E6%9B%B4%E9%95%BF%E7%9A%84%E5%BA%8F%E5%88%97/ 位置编码外推性：为什么Transformer无法处理比训练时更长的序列 https://answer.freetools.me/%E7%9B%B8%E5%AF%B9%E4%BD%8D%E7%BD%AE%E5%81%8F%E7%BD%AE%E5%A6%82%E4%BD%95%E6%94%B9%E5%8F%98transformer%E7%9A%84%E5%BA%8F%E5%88%97%E7%90%86%E8%A7%A3%E8%83%BD%E5%8A%9B%E4%BB%8Eshaw%E5%88%B0alibi%E7%9A%84%E4%B8%83%E5%B9%B4%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B/ Thu, 12 Mar 2026 05:34:41 +0800 https://answer.freetools.me/%E7%9B%B8%E5%AF%B9%E4%BD%8D%E7%BD%AE%E5%81%8F%E7%BD%AE%E5%A6%82%E4%BD%95%E6%94%B9%E5%8F%98transformer%E7%9A%84%E5%BA%8F%E5%88%97%E7%90%86%E8%A7%A3%E8%83%BD%E5%8A%9B%E4%BB%8Eshaw%E5%88%B0alibi%E7%9A%84%E4%B8%83%E5%B9%B4%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B/ 深入解析Transformer相对位置编码的技术原理与演进历程。从2018年Shaw的开创性论文到T5的分桶策略、ALiBi的线性偏置、Swin的2D相对位置编码，系统阐述为什么"距离比坐标更重要"，以及相对位置信息如何在注意力计算中发挥作用。涵盖数学公式、实现细节、性能对比与工程权衡。 https://answer.freetools.me/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E7%9A%84%E4%BA%8C%E5%8D%81%E5%B9%B4%E6%BC%94%E8%BF%9B%E4%BB%8Esinusoidal%E5%88%B0ropetransformer%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E4%BD%8D%E7%BD%AE/ Mon, 09 Mar 2026 05:07:24 +0800 https://answer.freetools.me/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E7%9A%84%E4%BA%8C%E5%8D%81%E5%B9%B4%E6%BC%94%E8%BF%9B%E4%BB%8Esinusoidal%E5%88%B0ropetransformer%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E4%BD%8D%E7%BD%AE/ 深入解析Transformer位置编码的技术演进。从Sinusoidal的三角函数设计，到相对位置编码的范式转换，再到RoPE复数旋转的数学之美，以及ALiBi的长序列外推能力。涵盖各大模型的位置编码选择、YaRN长上下文扩展技术、Llama 4的iRoPE创新，以及实践中的选择指南。