典型配置

数据库节点、应用节点、运维管理节点推荐配置如下表所示。

表1 不同节点推荐配置
节点类型	鲲鹏服务器配置	部署内容
数据库节点	CPU：7260(2.6G/64C) x 2 MEM：512GB (32G x 16 DDR4) 硬盘： OS盘：480GB SATA SSD x 2 数据盘：1.92TB SATA SSD x 4 网卡：2口*25GB x 2 RAID卡：1张	部署openGauss数据库。存储向量化后的数据，提供向量数据的导入和检索服务。
应用节点	CPU：7260(2.6G/64C) x 2 MEM：512GB (32G x 16 DDR4) 硬盘： OS盘：480GB SATA SSD x 2 数据盘：1.92TB SATA SSD x 4 网卡：2口*25GB x 2 RAID卡：1张	部署用户管理、文档处理（切片解析等）、AI业务流构建框架等
（可选）运维管理节点	CPU：5220(2.6G/32C) x 2 MEM：256GB (32G x 8 DDR4) 硬盘： OS盘：480GB SATA SSD x 2 数据盘：1.92TB SATA SSD x 4 网卡：2口*25GB x 2 RAID卡：1张	部署CCAE运维管理软件。检测集群的运行状态，方便集群的运维。

表2 不同模型下的建议配置
模型名称	参数	昇腾产品	鲲鹏产品配置
DeepSeek V3	671B	Atlas 800I A2 （2*512G）	4台数据库节点（72602 2.6G/64C） 1台应用节点（72602 2.6G/64C） 1台网管（5250*2 2.6G/48C）
DeepSeek-R1	671B	Atlas 800I A2 （2*512G）	4台数据库节点（72602 2.6G/64C） 1台应用节点（72602 2.6G/64C） 1台网管（5250*2 2.6G/48C）
DeepSeek-R1-Distill-Llama-70B	70B	Atlas 800I A2（512G）	2台数据库节点（72602 2.6G/64C） 1台应用节点（72602 2.6G/64C）
DeepSeek-R1-Distill-Qwen-32B	32B	Atlas 800I A2（256G）	2台数据库节点（72602 2.6G/64C） 1台应用节点（72602 2.6G/64C）
DeepSeek-R1-Distill-Qwen-14B	14B	Atlas 800I A2（256G）	2台数据库节点（72602 2.6G/64C） 1台应用节点（72602 2.6G/64C）
DeepSeek-R1-Distill-Qwen-14B	14B	Atlas 300I Duo	1台合并部署（7260*2 2.6G/64C）
DeepSeek-R1-Distill-Llama-8B	8B	Atlas 300I Duo	1台（7260*2 2.6G/64C）
DeepSeek-R1-Distill-Qwen-7B	7B	Atlas 300I Duo	1台（7260*2 2.6G/64C）
DeepSeek-R1-Distill-Qwen-1.5B	1.5B	Atlas 300V	1台（7260*2 2.6G/64C）

4节点数据库配置可以保证在1亿条数据量下，128并发检索时延小于50ms，可以减少到2台数据库节点，128并发检索时延增加到100ms。不同数据量的建议配置如下表：

表3 不同数据量的建议配置
数据量	数据库节点	数据库内存	应用节点	应用内存
1亿以上	4台	(1632G) 4	1台	16*32G
5千万-1亿	2台	(1632G) 2	1台	16*32G
1千万-5千万	2台	(832G) 2	1台	16*32G
百万-千万	1台	(1632G) 1	1台	16*32G
百万以下	1台合并部署(16*32G)

4节点数据库节点分布式参考图：

父主题： 鲲鹏企业AI+RAG方案