---
title: AI推理系统参数
description: "测试可参见搜推排序模型推理Benchmark(https://www.hikunpeng.com/document/detail/zh/SRA/perfEval/benchmarksra/kunpengmodelzoo_06_0001.html)进行，将TensorFlow Serving实例绑定至NUMA-0，Perf Analyzer工具绑定至NUMA-1，对Model Zoo中的搜推模型进行性能评测。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengdevps/profiler/tuning/KunpengDevKitCli_0200.html
sourcePath: /source/zh/kunpengdevps/profiler/tuning/KunpengDevKitCli_0200.html
indexId: f3b28d6faa143d757dbf56f52640c6c38f61da2bcc32c454e51f5afadba7232466
---
# AI推理系统参数

#### TensorFlow Serving

测试可参见搜推排序模型推理Benchmark(https://www.hikunpeng.com/document/detail/zh/SRA/perfEval/benchmarksra/kunpengmodelzoo_06_0001.html)进行，将TensorFlow Serving实例绑定至NUMA-0，Perf Analyzer工具绑定至NUMA-1，对Model Zoo中的搜推模型进行性能评测。

- 业务参数
  建议将tensorflow_intra_op_parallelism参数设置为TensorFlow Serving可用的CPU核心数，充分利用多核资源并防止资源竞争，从而提升推理系统的整体性能。

**表1 TensorFlow Serving业务参数**

| 推荐参数 | 推荐参数 | 推荐参数 | 调优分析 | 调优分析 | 调优分析 | 调优分析 |
| --- | --- | --- | --- | --- | --- | --- |
| 参数名称 | 参数含义 | 调整范围 | Testing Case | 重要性比率（%） | 参考最优值（vs. Baseline） | 参考最劣值（vs. Baseline） |
| tensorflow\_intra\_op\_parallelism | 并行执行独立操作的线程数 | [0, 128] | Wide and Deep、DSSM、DFFM | 88.7% | 32（+16.2%） | 122（\-8.9%） |
| max\_batch\_size | batching\_parameters\_file的子参数 单次可接受的最大请求数（批大小） | [32, 1024] | Wide and Deep | \- | 190（+7.0%） | 681（\-55.5%） |


- 系统参数
  搜推场景下，建议参考表2对内核调度子系统参数进行调整，同时将transparent_hugepage_mode策略设置为always，以优化内存管理并提升整体系统吞吐能力。

**表2 TensorFlow Serving系统参数**

| 推荐参数 | 推荐参数 | 调优分析 | 调优分析 | 调优分析 | 调优分析 | 调优分析 |
| --- | --- | --- | --- | --- | --- | --- |
| 参数名称 | 调整范围 | Testing Case | 重要性比率（%） | 测试环境默认值 | 参考最优值（vs. Baseline） | 参考最劣值（vs. Baseline） |
| kernel.sched\_cluster | {0, 1} | Wide && Deep | 42.5% | 0 | 1（+2.4%） | 0（\-4.7%） |
| kernel.sched\_migration\_cost\_ns | [100000, 5000000] | Wide && Deep | 20.7% | 500000 | 1319951（+2.4%） | 168578（\-4.7%） |
| kernel.sched\_nr\_migrate | [1, 128] | DFFM | 10.2% | 32 | 128（+1.2%） | 75（\-0.6%） |
| kernel.sched\_child\_runs\_first | {0, 1} | DFFM | 9.3% | 0 | 0（+1.2%） | 1（\-0.6%） |
| transparent\_hugepage\_mode | {madvise, never, always} | DSSM | 42.7% | never | always（+1.5%） | madvise（\-6.7%） |