---
title: 功能描述
description: "Rotary Position Embedding，对key和query应用旋转位置编码。"
url: https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/hpckit/devg/KunpengHPCKit_developer_187.html
sourcePath: /source/zh/kunpenghpcs/hpckit/devg/KunpengHPCKit_developer_187.html
indexId: bf7ff3107b19d37080b108aed6afa3f8c4c949e686e896cde2923d2ad762d8ef67
---
# 功能描述

#### 算子功能

Rotary Position Embedding，对key和query应用旋转位置编码。


#### 算子公式

RoPE的核心思想是通过旋转操作将位置信息嵌入到向量中，而不是简单地相加。具体来说，对于每个位置i和维度d，RoPE的公式如下：


其中：

- i是序列中的位置索引。
- d是维度索引。
- dmodel是模型的维度（通常是嵌入向量的维度）。
- cos和sin是余弦和正弦函数，用于生成选择角度。