AI服务部署

DeepSeek V3/R1满血版本建议部署在2台Atlas800I A2服务器上，DeepSeek-R1-Distill-Qwen-7B模型可以部署在Atlas 300I Duo上，实际LLM的部署根据所选的模型和硬件进行相应的配置。

下面的例子中，LLM部署以DeepSeek-R1-Distill-Qwen-7B和DeepSeek V3/R1满血版为例。Embedding和Rerank模型部署在一张Atlas 300I Duo卡上（实际部署时Embedding和Rerank模型可以分别部署在不同的卡上）。

部署的模型列表如下表所示：

• 推理服务部署（DeepSeek-R1-Distill-Qwen-7B）
  
• 推理服务部署（DeepSeek V3/R1）
  
• Embedding服务部署
  
• （可选）Rerank服务部署