环境要求
在性能测试前,需要确保使用环境均满足要求,包括硬件和软件配置。硬件配置包括CPU。软件配置包括操作系统和应用程序等。
操作系统要求
操作系统要求如表2所示。
软件要求
项目 |
版本 |
说明 |
构建方式 |
|---|---|---|---|
TensorFlow |
1.15.5 |
训练ModelZoo模型。 |
源码构建 |
Python |
3.7 |
TensorFlow 1.15版本安装的依赖。 |
conda获取 |
CMake |
3.22.0及以上 |
跨平台、跨编译器的构建系统生成工具。 |
通过Yum源方式安装 |
GCC/G++ |
10.3.1/12.3.1 |
GCC(GNU Compiler Collection)GNU编译器套件,由GNU开发的编程语言编译器。 |
通过Yum源方式安装 |
Bazel |
0.26.0 |
安装TensorFlow 1.15.5的构建工具。 |
源码构建 |
Git |
无版本要求 |
代码管理工具。 |
通过Yum源方式安装 |
模型推理阶段软件要求如表4所示。
项目 |
版本 |
说明 |
构建方式 |
|---|---|---|---|
TensorFlow Serving |
2.15 |
Benchmark系统的服务端,用于部署模型,处理推理请求。 |
源码构建 |
Python |
3.9及以上 |
Python执行环境。 |
conda获取 |
CMake |
3.22.0及以上 |
跨平台、跨编译器的构建系统生成工具。 |
通过Yum源方式安装 |
GCC/G++ |
12.3.1 |
GCC(GNU Compiler Collection)GNU编译器套件,由GNU开发的编程语言编译器。 |
通过Yum源方式安装 |
Bazel |
6.5.0 |
快速且可扩展的构建工具。编译TensorFlow Serving 2.15依赖Bazel 6.5.0版本。 |
源码构建 |
TritonServer(Triton服务器) |
24.05 |
性能测试工具。 |
Docker镜像拉取 |
Git |
无版本要求 |
代码管理工具。 |
通过Yum源方式安装 |