---
title: 模型量化
description: "Atlas 800I A2推理服务器支持Llama3.1-70B，Qwen2.5-70B等模型的量化推理，此方法依赖于msModelSlim工具生成的量化权重。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengai/tuningguide/imog_a800ia2/kunpengai_800i_05_0013.html
sourcePath: /source/zh/kunpengai/tuningguide/imog_a800ia2/kunpengai_800i_05_0013.html
indexId: 0366c39a158e4ef4735c798be08634133c22074480e6156ba49c98204496862173
---
# 模型量化

Atlas 800I A2推理服务器支持Llama3.1-70B，Qwen2.5-70B等模型的量化推理，此方法依赖于msModelSlim工具生成的量化权重。

1. 安装msModelSlim。

```
git clone -b br_release_MindStudio_8.0.RC1_20260324 https://gitcode.com/Ascend/msit.git
cd msit/msmodelslim
bash install.sh
```


2. 量化模型（此处以DeepSeek-R1-Distill-Llama-70B W8A8量化为例，其他量化方法请参见LLaMA量化案例(https://gitee.com/ascend/msit/blob/master/msmodelslim/example/Llama/README.md)）。
3. 进入“msit/msmodelslim/example/Llama”目录，执行下述指令。

```
python3 quant_llama.py --model_path {浮点权重路径} --save_directory {W8A8量化权重路径} --calib_file ../common/boolq.jsonl  --device_type npu --disable_level L5 --anti_method m3 --act_method 3
```


4. 请参见性能测试方法启动并测试模型性能。