---
title: 介绍
description: "本文档详细介绍了在鲲鹏920处理器+Atlas 800I A2推理服务器上部署vLLM、vLLM-Ascend和MindIE Turbo框架的操作步骤，包括DeepSeek 70B模型的运行和调优方法。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengai/tuningguide/imog_a800ia2/kunpengai_800i_05_0001.html
sourcePath: /source/zh/kunpengai/tuningguide/imog_a800ia2/kunpengai_800i_05_0001.html
indexId: a03f1f996bbc186ffb3ad1a3e598eabdb26f306c9a08c81b04d0cd305589318e73
---
# 介绍

本文档详细介绍了在鲲鹏920处理器+Atlas 800I A2推理服务器上部署vLLM、vLLM-Ascend和MindIE Turbo框架的操作步骤，包括DeepSeek 70B模型的运行和调优方法。

面对AI算力的快速增长和客户对高性能计算的需求，A+K一体机性能竞争力不够，因此需要对A+K推理性能进行优化。当前DeepSeek 70B模型是通过DeepSeek R1蒸馏的LLaMA 70B模型，然后通过vLLM、vLLM-Ascend和MindIE Turbo框架进行运行。

本文提供的调优方法需结合性能分析工具（如perf/profile）的采集数据及调优前后的测试结果，根据硬件实际情况和性能结果叠加不同的优化手段。