方案三:openEuler Intelligence平台搭建
- 获取部署脚本。
- 如果您正在使用K8s,则不需要安装K3s工具。
下载目录以“/home”为例:
cd /home git clone https://gitee.com/openeuler/euler-copilot-framework.git -b release-0.10.0
- 预先准备模型服务并在values.yaml中配置模型。
vim euler-copilot-framework/deploy/chart/euler-copilot/values.yaml models: # 用于问答的大语言模型;需要OpenAI兼容的API answer: # [必需] API端点URL(请根据API提供商文档确认是否包含"v1"后缀) endpoint: https://$ip:$port/v1 # [必需] API密钥;默认为空 key: sk-123456 # [必需] 模型名称 name: qwen3-32b # [必需] 模型最大上下文长度;推荐>=8192 ctxLength: 8192 # 模型最大输出长度,推荐>=2048 maxTokens: 8192 # 用于函数调用的模型;推荐使用特定的推理框架 functionCall: # 推理框架类型,默认为ollama # 可用框架类型:["vllm", "sglang", "ollama", "openai"] backend: openai # [必需] 模型端点;请根据API提供商文档确认是否包含"v1"后缀 # 留空则使用与问答模型相同的配置 endpoint: https://$ip:$port/v1 # API密钥;留空则使用与问答模型相同的配置 key: sk-123456 # 模型名称;留空则使用与问答模型相同的配置 name: qwen3-32b # 模型最大上下文长度;留空则使用与问答模型相同的配置 ctxLength: 8192 # 模型最大输出长度;留空则使用与问答模型相同的配置 maxTokens: 8192 # 用于数据嵌入的模型 embedding: # 推理框架类型,默认为openai # [必需] Embedding API类型:["openai", "mindie"] type: openai # [必需] Embedding URL(需要包含"v1"后缀) endpoint: https://$ip:$port/v1 # [必需] Embedding模型API密钥 key: sk-123456 # [必需] Embedding模型名称 name: BAAI/bge-m3 - 执行主部署脚本(需要root权限)。
cd euler-copilot-framework/deploy/scripts ./deploy.sh
- 输入菜单进行部署。
============================== 主部署菜单 ============================== 0) 一键自动部署 1) 手动分步部署 2) 卸载所有组件并清除数据 3) 退出程序 ============================== 请输入选项编号(0~3): 1 ============================== 手动分步部署菜单 ============================== 1) 执行环境检查脚本 2) 安装k3s和helm 3) 安装Ollama - 跳过 4) 部署Deepseek模型 - 跳过 5) 部署Embedding模型 - 跳过 6) 安装数据库 7) 安装AuthHub 8) 安装openEuler Intelligence 9) 返回主菜单 ============================== 请输入选项编号(1~9): 注意: - 已有模型服务:选择1手动分步部署(须跳过模型部署步骤3、4、5),并预先配置values.yaml文件 - 新手用户或试用环境:选择0一键自动部署(会自动部署ollama、deepseek、embeddings)
父主题: RAG平台搭建