配置多个模型

DevKit AI支持配置不同模型使用，默认使用配置的第一个模型。

操作步骤

可以通过以下两种方式配置多个模型：

直接打开config.yaml文件进行编辑。

使用SSH远程登录工具，登录DevKit AI的安装节点。
进入DevKit AI基础包解压后目录，配置“config/config.yaml”文件。
```
cd DevKit-AI-x.x.x-Linux-Kunpeng
vi config/config.yaml
```

按“i”进入编辑模式，修改模型配置，示例如下。

chat_models:        # LLM 模型配置列表
#  - name:
#    model_provider:
#    model:
#    base_url:
#    api_key:
#    #true 或 false ,默认为false
#    enable_thinking:
#    #选填，默认1200
#    timeout:
#    #选填，默认0.7
#    temperature:
#    #选填，默认模型最大上下文窗口
#    max_tokens:
#    #选填，默认3
#    max_retries:
#    #选填，支持思考模式需额外填入
#    extra_body:

- name: glm-5
  model_provider: openai
  model: glm-5
  base_url: https://xxx.xxx.xxx.xxx
  api_key: xxx
  timeout: 1200
  max_retries: 3
  enable_thinking: false
  temperature: 0.7
  extra_body: {}
embeddings_models:    # Embedding 模型配置列表
#  - name:
#    model_provider:
#    model:
#    base_url:
#    api_key:
#    #选填，默认120
#    timeout:
#    #选填，默认10
#    chunk_size:
#    #选填，默认3
#    max_retries:
- name: bge-m3:latest
  model_provider: ollama
  model: xxx.xxx.xxx.xxx/library/bge-m3:latest
  base_url: http://xxx.xxx.xxx.xxx:11434
  api_key: xxx
  timeout: 
  chunk_size: 
  max_retries: 
......

表1 聊天/词嵌入模型配置参数说明
参数	参数选项	参数说明
name	-	模型别名，指代模型的唯一标识符，不允许重复命名。配置文件中可以配置多个模型，若模型名称重复，可以通过模型别名来判断使用哪一个模型。
model_provider	-	模型provider，仅支持openai或ollama格式。
model	-	模型名称（例如：glm-5）。
base_url	-	模型的服务地址。
api_key	-	可选参数，模型的api_key密文，根据模型实际要求选填，可通过2.3章节安装步骤的步骤2.3-4的工具生成。
timeout	-	可选参数，模型超时时间，LLM模型默认超时时间1200秒，Embedding模型默认超时时间120秒。
max_tokens	-	可选参数，模型最大上下文窗口。
max_retries	-	可选参数，模型额外最大重试次数，默认为3。
enable_thinking	true/false	可选参数，模型是否开启思考模式。 true：开启思考模式。 false：关闭思考模式。
extra_body	-	可选参数，支持思考模式需额外填入。
temperature	-	可选参数，模型温度。默认值为0.7，可选范围为0 ~ 2。功能为控制模型输出文本的随机性和多样性，数值越大，创造性越强。
chunk_size	-	可选参数，分块大小。默认值为10。

按“Esc”键退出编辑模式，输入:wq!，按“Enter”键保存并退出文件。

通过命令行交互式配置。

配置聊天模型。

./devkitai config chat_model

返回示例如下：

=== LLM模型配置 ===
是否查看当前已配置的模型列表？(y/n，默认n): y
模型列表：
1. name:glm-5;     model:glm-5

【共1个模型】继续配置聊天模型 (1:编辑 2:新增 3:删除 (Ctrl+C/回车退出)): 2
模型列表：
1. name:glm-5;     model:glm-5

--- 新增聊天模型 ---
已存在的模型别名: glm-5

请输入模型别名(当前值：无): Minimax-2.7
请输入模型名(当前值：): MiniMax-M2.7
请输入API的base_url(当前值：): https://xxx.xxx.xxx.xxx
请输入模型提供商 (openai/ollama)(当前值：无): openai
请输入API密钥(回车跳过): 
请输入超时时间(秒)(当前值：1200): 
请输入最大重试次数(当前值：3): 
是否启用思考模式 (true/false)(当前值：false): 
请输入温度参数(当前值：0.7): 
请输入最大令牌数(回车跳过): 
请输入额外参数(JSON格式)(当前值：{}): 

--- 正在检测模型 'Minimax-2.7' 连通性 ---
  ✓ 模型 'Minimax-2.7' 连接测试成功
聊天模型配置已保存到: /home/DevKit-AI-x.x.x-Linux-Kunpeng/config/config.yaml

【共2个模型】继续配置聊天模型 (1:编辑 2:新增 3:删除 (Ctrl+C/回车退出)): 

配置已保存到: /home/DevKit-AI-x.x.x-Linux-Kunpeng/config/config.yaml

配置Embedding模型。

./devkitai config embedding_model

返回示例如下：

=== Embedding模型配置 ===
是否查看当前已配置的模型列表？(y/n，默认n): y
模型列表：
1. name:bge-m3:latest;     model:ollama.rnd.huawei.com/library/bge-m3:latest

【共1个模型】继续配置Embedding模型 (1:编辑 2:新增 3:删除 (Ctrl+C/回车退出)): 2
模型列表：
1. name:bge-m3:latest;     model:ollama.rnd.xxx.com/library/bge-m3:latest

--- 新增Embedding模型 ---
已存在的模型别名: bge-m3:latest

请输入模型别名（当前值：无）: bge
请输入模型名（当前值：）: bge-m3
请输入API的base_url（当前值：）: xxx
请输入模型提供商 (openai/ollama)（当前值：无）: ollama
请输入API密钥（回车跳过）:
请输入超时时间(秒)（当前值：120）:
请输入块大小（当前值：10）:
请输入最大重试次数（当前值：3）:

--- 正在检测Embedding模型 'bge' 连通性 ---
 ✓ Embedding模型 'bge-m3:latest' 连接测试成功
Embedding模型配置已保存到: /home/DevKit-AI-x.x.x-Linux-Kunpeng/config/config.yaml

【共2个模型】继续配置Embedding模型 (1:编辑 2:新增 3:删除 (Ctrl+C/回车退出)):

配置已保存到: /home/DevKit-AI-x.x.x-Linux-Kunpeng/config/config.yaml

父主题： 高阶功能