第四章：位置编码的设计哲学

第三章已经解释了位置编码存在的必要性：自注意力是置换不变的，必须显式注入位置信息。但“如何”编码位置，是一个充满巧妙设计与持续演进的领域。

从原始 Transformer 的正弦位置编码到 GPT 等模型的可学习位置编码，再到 Llama 等现代模型广泛采用的旋转位置编码（RoPE），每一种方案都体现了不同的设计哲学和对“位置”这一概念的不同理解。本章将深入分析这些方案的数学原理、设计动机和各自的优劣。