典型配置
数据库节点、应用节点、运维管理节点、鲲鹏模组RAG一体机推荐配置如表1、表2、表3、表4所示。
节点类型 |
鲲鹏服务器配置 |
部署内容 |
|---|---|---|
数据库节点 |
|
部署openGauss数据库。 存储向量化后的数据，提供向量数据的导入和检索服务。 |
应用节点 |
|
部署用户管理、文档处理（切片解析等）、AI业务流构建框架等。 |
（可选）运维管理节点 |
|
部署CCAE运维管理软件。 检测集群的运行状态，方便集群的运维。 |
模型名称 |
参数 |
昇腾产品 |
鲲鹏产品配置 |
|---|---|---|---|
DeepSeek V3 |
671B |
Atlas 800I A2 （2*512GB） |
4台数据库节点（鲲鹏920 7260处理器*2 2.6GHz/64核） 1台应用节点（鲲鹏920 7260处理器*2 2.6GHz/64核） 1台运维管理节点（鲲鹏920 5250处理器*2 2.6GHz/48C） |
DeepSeek-R1 |
671B |
Atlas 800I A2 （2*512GB） |
4台数据库节点（鲲鹏920 7260处理器*2 2.6GHz/64核） 1台应用节点（鲲鹏920 7260处理器*2 2.6GHz/64核） 1台运维管理节点（鲲鹏920 5250处理器*2 2.6GHz/48C） |
DeepSeek-R1-Distill-Llama-70B |
70B |
Atlas 800I A2（512GB） |
2台数据库节点（鲲鹏920 7260处理器*2 2.6GHz/64核） 1台应用节点（鲲鹏920 7260处理器*2 2.6GHz/64核） |
DeepSeek-R1-Distill-Qwen-32B |
32B |
Atlas 800I A2（256GB） |
2台数据库节点（鲲鹏920 7260处理器*2 2.6GHz/64核） 1台应用节点（鲲鹏920 7260处理器*2 2.6GHz/64核） |
DeepSeek-R1-Distill-Qwen-14B |
14B |
Atlas 800I A2（256GB） |
2台数据库节点（鲲鹏920 7260处理器*2 2.6GHz/64核） 1台应用节点（鲲鹏920 7260处理器*2 2.6GHz/64核） |
Atlas 300I Duo |
1台合并部署（鲲鹏920 7260处理器*2 2.6GHz/64核） |
||
DeepSeek-R1-Distill-Llama-8B |
8B |
Atlas 300I Duo |
1台（鲲鹏920 7260处理器*2 2.6GHz/64核） |
DeepSeek-R1-Distill-Qwen-7B |
7B |
Atlas 300I Duo |
1台（鲲鹏920 7260处理器*2 2.6GHz/64核） |
DeepSeek-R1-Distill-Qwen-1.5B |
1.5B |
Atlas 300V |
1台（鲲鹏920 7260处理器*2 2.6GHz/64核） |
4节点数据库配置可以保证在1亿条数据量下，128并发检索时延小于50ms，可以减少到2台数据库节点，128并发检索时延增加到100ms。不同数据量的建议配置如表3所示。4节点数据库节点分布式参考图如图1所示。
数据量 |
数据库节点数量 |
数据库节点内存 |
应用节点数量 |
应用节点内存 |
|---|---|---|---|---|
1亿以上 |
4台 |
(16*32GB) * 4 |
1台 |
16*32GB |
5千万~1亿 |
2台 |
(16*32GB) * 2 |
1台 |
16*32GB |
1千万~5千万 |
2台 |
(8*32GB) * 2 |
1台 |
16*32GB |
百万~千万 |
1台 |
(16*32GB) * 1 |
1台 |
16*32GB |
百万以下 |
1台合并部署（16*32GB） |
|||
