使用说明

接口定义

初始化Linear+relu、Linear+silu、Linear+gelu，构造时需要传入输入矩阵、权重矩阵、输出矩阵的tensor信息，其中偏置矩阵可以不送，会调用第二个构造函数进行初始化。

• LinearActivationLayerFWD(const TensorInfo &aInfo, const TensorInfo &bInfo, const TensorInfo &cInfo, const TensorInfo &biasInfo, float alpha = 1.0f, float beta = 0.0f, ActivationFunction kind = KDNN::ActivationFunction::RELU, int numthreads = 0)->void
• LinearActivationLayerFWD(const TensorInfo &aInfo, const TensorInfo &bInfo, const TensorInfo &cInfo, float alpha = 1.0f, float beta = 0.0f, ActivationFunction kind = KDNN::ActivationFunction::RELU, int numthreads = 0)->void

执行算子运算，要传入存放输入的内存地址和输出的内存地址，a、b、c、bias分别是输入矩阵、权重矩阵、输出矩阵及偏置矩阵的内存地址。其中偏置矩阵的地址要根据构造时是否传入bias选择是否传入。

• void Run(const void *a, const void *b, void *c, const void *bias, int numThreads = 0)->void
• Run(const void *a, const void *b, void *c, int numThreads = 0)->void

ValidateInput验证Linear+relu、Linear+silu、Linear+gelu输入参数，并在算子构造过程中自动触发执行。

• ValidateInput(const TensorInfo &srcInfo, const TensorInfo &weiInfo, const TensorInfo &dstInfo, const TensorInfo &biasInfo, float alpha = 1.0f, float beta =0.0f, ActivationFunctionkind=KDNN::ActivationFunction::RELU, int numthreads = 0)-> KDNN::Status
• ValidateInput(const TensorInfo &srcInfo, const TensorInfo &weiInfo, const TensorInfo &dstInfo, float alpha = 1.0f, float beta =0.0f,ActivationFunctionkind=KDNN::ActivationFunction::RELU, int numthreads = 0)-> KDNN::Status

支持数据类型

• postops支持fp16/fp32/bf16数据类型（TensorInfo对象初始化时需传入Shape、Type、Layout参数，此处列出为Type支持数据类型）。

  表4 TensorInfo对象初始化时支持的Type类型

  srcInfo	weiInfo	dstInfo	biasInfo
  KDNN::Element::TypeT::F16(fp16)	KDNN::Element::TypeT::F16(fp16)	KDNN::Element::TypeT::F16(fp16)	KDNN::Element::TypeT::F16(fp16)
  KDNN::Element::TypeT::F32(fp32)	KDNN::Element::TypeT::F32(fp32)	KDNN::Element::TypeT::F32(fp32)	KDNN::Element::TypeT::F32(fp32)
  KDNN::Element::TypeT::BF16(bf16)	KDNN::Element::TypeT::BF16(bf16)	KDNN::Element::TypeT::BF16(bf16)	KDNN::Element::TypeT::BF16(bf16)

• 最高支持5Dtensor，支持顺序数据排布：a、ab、abc、abcd、abcde。

  对应KDNN::Layout::A、KDNN::Layout::AB、KDNN::Layout::ABC、KDNN::Layout::ABCD、KDNN::Layout::ABCDE。

  表5 TensorInfo对象初始化时支持的Layout类型

  dimension	srcInfo	weiInfo	dstInfo	biasInfo
  2D	ab/ba	ab/ba	ab/ba	ab/ba
  3D	abc/acb	abc/acb	abc/acb	abc/acb
  4D	abcd/abdc	abcd/abdc	abcd/abdc	abcd/abdc
  5D	abcde/abced	abcde/abced	abcde/abced	abcde/abced

使用示例

二维数据类型为FP32 ops为RES_IDENTIAL的linear+ops操作。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

using SizeType = KDNN::SizeType;
using Shape = KDNN::Shape;
using Type KDNN::Element::TypeT
// Tensor初始化
const KDNN::TensorInfo srcTensor = {{110, 20}, KDNN::Element::TypeT::F32, KDNN::Layout::AB};
const KDNN::TensorInfo weiTensor = {{20, 200}, KDNN::Element::TypeT::F32, KDNN::Layout::AB};
const KDNN::TensorInfo dstTensor = {{110, 200}, KDNN::Element::TypeT::F32, KDNN::Layout::AB};
const KDNN::TensorInfo biasTensor = {{110, 200}, KDNN::Element::TypeT::F32, KDNN::Layout::AB};
float alpha = 0.0f;
float beta = 0.0f;
KDNN::ActivationFunction algKind = KDNN::ActivationFunction::RELU;
int numThreads = 0;
SizeType srcSize = srcTensor.GetTotalTensorSize();
SizeType dstSize = weiBTensor.GetTotalTensorSize();
SizeType weiSize = dstCTensor.GetTotalTensorSize();
SizeType biasSize = biasTensor.GetTotalTensorSize(); 
// 申请存放入参和结果的的内存空间
float * src = malloc(srcSize * sizeof(float));
float * wei = malloc(weiSize * sizeof(float));
float * dst = malloc(dstSize * sizeof(float));
float * bias = malloc(biasSize * sizeof(float));
// 构造算子
KDNN::LinearActivationLayerFWD
linearActivationLayerFwd(srcTensor, weiTensor, dstTensor,
biasTensor, alpha, beta, algKind, numThreads);
// 算子执行
linearActivationLayerFwd.Run(src, wei, dst, bias, numThreads);