--- title: 介绍 description: "本文档基于鲲鹏920系列处理器，介绍了在openEuler操作系统上部署搜推Benchmark系统进行推理测试的全流程，包括服务端与客户端的测试环境搭建以及进行推理阶段性能测试的操作步骤指导。" url: https://www.hikunpeng.com/document/detail/zh/SRA/perfEval/benchmarksra/kunpengmodelzoo_06_0001.html sourcePath: /source/zh/SRA/perfEval/benchmarksra/kunpengmodelzoo_06_0001.html indexId: 49fefa9dac3c3ccea0a5d77d2c75ef10afa7533c3364e07dd9aaf403c55386a665 --- # 介绍 本文档基于鲲鹏920系列处理器，介绍了在openEuler操作系统上部署搜推Benchmark系统进行推理测试的全流程，包括服务端与客户端的测试环境搭建以及进行推理阶段性能测试的操作步骤指导。 #### 模型介绍 ModelZoo是一个搜推模型的集合，目前包括Wide_and_Deep、DLRM（Deep Learning Recommendation Model）、DeepFM（Factorization Machine with Deep Neural Network）、DFFM（Domain Facilitated Feature Modeling）和DSSM（Deep Structured Semantic Model）五个模型。 Wide_and_Deep Wide_and_Deep模型是谷歌提出的一种用于推荐系统的机器学习架构，它结合了广度（线性模型）和深度（深度神经网络）两种模型的优势。广度部分通过记忆已知的特征组合来捕捉稀疏数据中的显式关系，而深度部分则通过泛化来学习新的潜在特征交互。此架构能够同时处理高维稀疏和低维稠密特征，提升个性化推荐效果，适用于广告点击率预估等多种场景。 图1 Wide_and_Deep模型原理图 - 广度部分（wide）：通过线性层处理稀疏特征的交叉组合。 - 深度部分（deep）：将one-hot编码后的类别、id类稀疏特征先通过Embedding层获取低维向量后与归一化后的年龄、收入等稠密特征一起传给MLP。 DLRM DLRM是Facebook提出的一种深度学习推荐模型，专为处理稀疏特征而设计。它采用嵌入层将高维稀疏特征转换为低维稠密向量，并通过交互层捕捉特征间的复杂关系。DLRM结合了低阶和高阶特征交互，利用点积操作计算特征组合，最后通过多层感知机（MLP）输出预测结果，广泛应用于广告推荐等个性化服务中。 图2 DLRM模型原理图 第一类为类别、ID类的离散特征，对于这类特征通常是利用one-hot编码对其进行编码，生成稀疏特征；第二类为数值型的连续特征。对于第一类的离散特征，通过one-hot编码后会变得特别稀疏，深度学习模型是不适合从稀疏数据中学习的，通常的做法是通过Embedding将其映射成一个稠密的连续值。 通过Embedding层后，所有的特征，包括离散特征和连续特征，可以通过MLP做进一步转换，如图2中的三角部分。经过MLP处理后进入到Interaction特征交叉层。在Interaction层，首先会将所有的Embedding结果两两做点积，以此实现特征的交叉；随后将交叉后的特征和之前Embedding结果组合在一起，最终通过MLP得到输出。 DeepFM DeepFM是2017年提出的CTR模型，是一种融合了因子分解机（FM）和深度神经网络（DNN）的推荐系统模型。它无需特征工程，自动学习特征组合。FM部分有效地捕捉特征间的二阶组合关系，而DNN部分则深入挖掘高阶特征交互。DeepFM在处理稀疏数据时表现出色，能够同时记忆已知组合并泛化新组合，适用于点击率预估、个性化推荐等场景。 图3 DeepFM模型原理图 与其他方法类似，稀疏特征进行one-hot编码后输入Embedding层，稠密特征进行归一化。 - FM部分： - 线性部分——对原始特征进行加权求和。 - 二阶交互部分——通过内积操作捕捉所有特征之间的二阶交互。 - DNN部分：使用多层感知器提取高层次特征表示。 - 输出预测：合并FM和DNN的输出，并生成最终的推荐概率或回归值。 DFFM DFFM模型是一种增强型推荐算法，它融合了领域感知与特征建模。通过引入领域信息，DFFM不仅考虑了特征间的交互，还强调了不同领域特征的重要性。该模型利用深度学习架构，在处理跨域数据时能够更精准地捕捉用户偏好和行为模式，提升推荐系统的准确性和个性化程度，尤其适用于多领域或跨平台的推荐场景。 图4 DFFM模型原理图 特征分为域无关特征Ea、域相关特征Ed、目标item特征Et和历史行为特征Eh。 其中Ea和Ed进行域增强内积处理后输入全连接层生成领域增强特征；Ed和Et拼接后与Eh进行注意力加权操作生成域辅助用户行为特征。将两类特征拼接后输入全连接层得到最后的结果。 DSSM DSSM模型是一种基于深度网络的语义模型，通过将user特征和item特征映射到公共维度的语义空间来计算相似度以预测点击的概率。 图5 DSSM模型原理图 user特征和item特征均经过embedding层后由DNN生成公共维度语义空间中的向量表示，然后计算向量的相似度。 #### 测试目的 Benchmark（基准测试）指的是以科学的方法，用于确定和衡量系统或模型的性能。通过设计合理的测试方法、选择适当的测试工具和搭建有效的测试环境，定量并可重复地评估被测对象的性能表现。本文档详细介绍了搜推Benchmark系统的安装和使用方法。使用ModelZoo中搜推模型进行推理性能评估和验收测试。 本测试需要基于鲲鹏920系列处理器，对ModelZoo中五个模型进行推理阶段吞吐量测试。测试时，以TensorFlow Serving 2.15为服务端，perf_analyzer（即TritonServer）为客户端。测试限制条件为batch<=1024，p99时延<=40ms。 #### 测试流程 图6 训练及推理阶段吞吐量测试流程