位置编码的二十年演进：从Sinusoidal到RoPE，Transformer如何理解「位置」
把"我 爱 北 京"四个字打乱顺序，变成"北 京 我 爱"，意思完全变了。但对Transformer的自注意力机制来说，这两个输入几乎没有区别——它会以完全相同的方式计算每个词与其他词的关联度。 ...
YaRN
为什么大模型读不完一本书——从注意力机制到长上下文突围的技术全景
你有没有遇到过这样的情况：把一篇三万字的技术文档投给大模型，它告诉你"上下文长度超出限制"；或者好不容易把文档拆成小块分别处理，却发现模型完全忘记了前面章节的内容，给出的分析前后矛盾。 ...