Philip's blog

[p208p2002]

https://blog.philip-huang.tech/?page=rope-embedding

• 图解RoPE旋转位置编码及其特性

• 详解基于调整RoPE旋转角度的大模型长度外推方法

  簡單旋轉矩陣
  一個簡單的二維旋轉矩陣，其中$\theta$表示弧度：

$$M(\theta) = \begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{pmatrix}$$

將一個二維的向量乘上該旋轉矩陣可