模型部署说明

DeepSeek V3/R1满血版本建议部署在2台Atlas 800I A2服务器上，DeepSeek-R1-Distill-Qwen-7B模型可以部署在Atlas 300I Duo上，实际LLM的部署根据所选的模型和硬件进行相应的配置。

下面的例子中，LLM部署以DeepSeek-R1-Distill-Qwen-7B和DeepSeek V3/R1满血版为例。Embedding和Rerank模型部署在一张Atlas 300I Duo卡上（实际部署时Embedding和Rerank模型可以分别部署在不同的卡上）。部署的模型列表如表1所示。