接口说明

Linear算子

线性变换。

input weight bias output（fp16 fp16 fp16 fp16）

input weight bias output（fp16 fp16 fp32 fp32）

input weight bias output（int8 int8 int32 int32）

input weight bias output（fp16 int8 int32 fp32）

input weight bias output（fp32 fp32 fp32 fp32）

SoftMax算子

概率分布归一化。

fp32

Conv算子

局部特征提取。

fp16、fp32

GroupNorm算子

通道分组归一化。

fp16、fp32

LayerNorm算子

层分组归一化。

fp16、fp32

RMSNorm算子

均方根归一化。

fp16

Embedding算子

将整数索引到固定向量。

fp16

fp16

torch.float16

fp32

torch.float32

int8

torch.int8

int32

torch.int32