ONNX Runtime集成KONNX

环境要求

适配步骤

1. 获取ONNX Runtime源码。

   git clone -b v1.19.2 https://github.com/microsoft/onnxruntime.git

2. 获取ONNX Runtime的补丁文件。

   git clone -b v1.1.0 https://atomgit.com/openeuler/sra_onnxruntime_adapter.git

3. 进入“/path/to/onnxruntime”目录。

   1	cd /path/to/onnxruntime

4. 合入konnx.patch补丁文件到仓库中。

   1	git apply /path/to/sra_onnxruntime_adapter/konnx.patch

5. 查看是否有如下图所示文件内容更改，若有，则合入补丁成功。

   1 2	git add . git status

   

6. 请参见《ONNX Runtime 移植指南》“编译安装源码”章节编译并安装ONNX Runtime。

适配后验证

ONNX Runtime编译安装完成后，为了对其进行运行和验证，请使用ONNX Runtime官方提供的单元测试执行程序onnxruntime_test_all。它会在CMake编译过程中自动构建，运行框架内部所有的自动化测试用例，用于验证核心算子、执行器、序列化/反序列化、模型加载、硬件加速器集成等多个模块的功能与正确性。

1. 设置环境变量。

   export ONNX_INTRA_NUM=6 
   export ONNX_INTER_NUM=6 

   

   • ONNX_INTRA_NUM：模型内部并行线程数，控制一个算子内部的多线程并行。
   • ONNX_INTER_NUM：模型级并行线程数，控制多个算子之间的并发执行。

   线程数可根据需要自行设置。

2. 进入“/path/to/onnxruntime/build/RelWithDebInfo”目录。

   cd /path/to/onnxruntime/build/RelWithDebInfo

3. 执行以下命令以运行ONNX Runtime的公开UT测试onnxruntime_test_all。

   ./onnxruntime_test_all

   回显如下，测试程序运行无报错，则完成ONNX Runtime的验证。