功能描述

算子功能

Rotary Position Embedding，对key和query应用旋转位置编码。

算子公式

RoPE的核心思想是通过旋转操作将位置信息嵌入到向量中，而不是简单地相加。具体来说，对于每个位置i和维度d，RoPE的公式如下：

其中：

• i是序列中的位置索引。
• d是维度索引。
• d_model是模型的维度（通常是嵌入向量的维度）。
• cos和sin是余弦和正弦函数，用于生成选择角度。