参考实现

鲲鹏企业AI+RAG解决方案提供端到端的参考实现，以微服务组合方式提供不同的业务功能，基于此方案，RAG的基本流程服务可以被轻松构建。

鲲鹏+昇腾分离式RAG部署方案，按照AI算力和通用CPU算力来区分服务类型，把文档服务、向量检索服务等不涉及AI算力调用的服务独立部署在鲲鹏服务器上，使用通用CPU算力进行计算。涉及模型相关的服务（Embedding模型、Rerank模型、LLM大模型）部署在昇腾底座上，使用AI算力进行计算。通过隔离算力需求不同的服务，达到通用计算服务器和AI服务器解耦的目的，确保两种算力互不干扰，使方案具备高性能、易扩展、高可用等优势。

文档输入处理、向量数据库、AI编排等服务部署在鲲鹏底座上，使用Dify/openEuler Intelligence等框架来支撑端到端的业务流的编排，基于Dify/openEuler Intelligence等框架自带的固定长度切分算法进行文档处理，采用openGauss向量数据库并使能相应的检索加速算法提升检索性能。AI算力和通用CPU算力隔离，保障AI应用和通用业务都具备良好的业务体验。

当前所支持的服务&框架：

服务分类

微服务

鲲鹏适配

鲲鹏优化

昇腾适配

适配框架

容器化

文档导入

Dify.Loader

Y

-

-

Dify

Y

文档导入

openEuler Intelligence.Loader

Y

-

-

openEuler Intelligence

Y

文档切分

Dify.Splitter

Y

-

-

Dify

Y

文档切分

openEuler Intelligence.Spilitter

Y

-

-

openEuler Intelligence

Y

文本向量化

Bge-large-zh-v1.5，…etc

Y

-

Y

Dify & openEuler Intelligence & AnythingLLM

Y

向量化数据库

openGauss

Y

Y

-

Dify & openEuler Intelligence & AnythingLLM

Y

向量化检索

Dify.Retrieval (openGauss)

Y

Y

-

Dify

Y

向量化检索

openEuler Intelligence.Retrieval (openGauss)

Y

Y

-

openEuler Intelligence

Y

向量化检索

AnythingLLM.Retrieval (openGauss)

Y

Y

-

AnythingLLM

-

重排

Bge-reranker-v2-m3，…etc

Y

-

Y

Dify & openEuler Intelligence & AnythingLLM

Y

LLM

Deepseek v3/R1，…etc

Y

-

Y

Dify & openEuler Intelligence & AnythingLLM

Y

当前所支持的文档格式&框架：

文档格式

Dify

openEuler Intelligence

xlsx/xls

Y

Y

pdf

Y

Y

md/markdown/mdx

Y

Y

htm/html

Y

-

txt

Y

Y

docx

Y

Y

csv

Y

-

Dify可以使用付费的解析方案（ Unstructured），支持更多的文档格式，如msg、eml、ppt、pptx、xml、epub。

父主题： 鲲鹏企业AI+RAG方案