集成AI+微服务

集成AI服务

1. 访问本地部署的RAGFlow web服务页面。

   http://your_server_ip

   

2. 首次登录请注册账户，注册完成后输入邮箱和密码完成登录。

   

   

   

3. 接入LLM服务。
   1. 在主界面单击右上角用户头像，随后单击“模型提供商”进入模型提供商安装界面，选择“OpenAI-API-compatible”卡片，单击“Add the model”按钮。

      

   2. 在添加模型页面，配置LLM模型信息。“Model type”选择“chat”类型；“Model name”填写（部署推理服务（DeepSeek-R1-Distill-Qwen-7B）中配置的LLM模型名称）；“API-Key”填写为与模型的API-Key对应的值，若没有配置，则不填写即可；“Base url”填写已部署的LLM服务的IP地址和端口；“Max Tokens”可以调整模型输出的最大长度。

      

   3. 单击“确定”，等待连接LLM模型成功后，在已添加模型中可以查看到已接入的LLM模型。

      

4. 接入Embedding/Rerank服务。
   1. 在主界面单击右上角用户头像，随后单击“模型提供商”进入模型提供商安装界面，选择“HuggingFace”卡片，单击“添加模型”按钮。

      

   2. 在添加模型页面，配置模型信息。“模型类型”选择“embedding”或“rerank”类型；“模型名字”填写“embed”或“rerank”；“API-Key”填写为与模型的API-Key对应的值，若没有配置，则不填写即可；“基础 url”填写已部署的LLM服务的IP地址和端口；“最大token数”可以调整模型输出的最大长度。

      

      

   3. 单击“确定”，等待连接Embedding或Rerank模型成功后，在已添加模型中可以查看到已接入的模型。