本章节为基于EulerCopilot/Dify框架构建检索增强生成(RAG)服务的实施指南,系统阐述在鲲鹏平台上如何结合高性能向量数据库openGauss实现端到端部署方案。该指南聚焦基于Docker的容器化技术栈,涵盖RAG服务核心配置流程、AI应用平台部署、向量数据库集成、推理服务构建、向量化服务及重排序服务对接等关键技术环节。
DeepSeek V3/R1满血版+鲲鹏的部署方案如下图所示。
下面的部署指导中LLM部署以DeepSeek-R1-Distill-Qwen-7B模型和DeepSeek V3/R1满血版模型为例。