鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

集成AI+微服务

  1. 访问本地部署的Open WebUI Web服务页面。
    http://your_server_ip:port
  2. 注册管理员账户并登录。

  3. 接入LLM服务。
    1. 在主界面左下角单击用户名中的设置

    2. 单击左下角管理员设置

    3. 进入设置页面,选择外部连接,可配置OpenAI或Ollama接口作为LLM。配置本地模型需要IP地址和端口号Port,例如: http://ip:port/v1。

  4. 接入Embedding/Rerank服务。配置本地模型需要IP地址和端口号Port,例如:http://ip:port/v1。
    1. 根据Embedding模型能接收的最大chunk数,配置块大小(Chunk Size)。

    2. 配置Embedding模型,可选OpenAI、Ollama等。例如:使用OpenAI Embedding服务配置为http://ip:port/v1。

    3. 配置Rerank模型,若使用外部Rerank模型需配置完整Rerank请求路径,例如:使用OpenAI Rerank服务配置为http://ip:port/v1/rerank。