AI+微服务集成

AI服务集成

1. 访问本地部署的Dify web服务页面。

   http://your_server_ip

2. 注册管理员账户并登录。

   

3. 接入LLM服务。
   1. 在主界面单击右上角用户名，然后单击“设置”进入设置页面，单击“模型供应商”，选择“OpenAI-API-compatible”卡片，单击“安装”按钮。

      

   2. 安装完成后，在添加模型页面，“模型类型”选择“LLM”。
   3. 输入“模型名称”（推理服务部署（DeepSeek-R1-Distill-Qwen-7B）中配置的LLM模型名称）。
   4. “API Key”。若在模型中有设置api-key，需配置为与模型的api-key对应，若没有配置，则不填写即可。
   5. “API endpoint URL”根据提示，替换成LLM服务的IP地址和端口。
   6. 可以调整模型上下文长度和最大token上限。

   

4. 接入Embedding/Rerank服务。
   1. 在设置页面，单击“模型供应商”，选择“Text Embedding Inference”卡片，单击“添加模型”按钮。

      

   2. 在添加模型页面，“模型类型”选择“Text Embedding”或者“Rerank”。
   3. 输入“模型名称”为“embed”或者“rerank”。
   4. “服务器URL”根据提示，替换成Embedding/Rerank服务的IP地址和端口。
   5. “API Key”填写为与模型的api-key对应的值，若没有配置，则不填写即可。

   

5. 重复3，模型类型分别选择Text Embedding或Rerank，然后单击“保存”。