开发者
资源
文档评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

模型调用上限

DevKit AI支持限制模型调用次数,防止异常情况下模型被无限调用导致资源浪费或成本失控。

操作步骤

  1. 使用SSH远程登录工具,登录DevKit AI的安装节点。
  2. 进入DevKit AI基础包解压后目录。
    cd DevKit-AI-x.x.x-Linux-Kunpeng
  3. 打开“config/config.yaml”文件。
    vi config/config.yaml
  4. 按“i”进入编辑模式,新增如下内容。
    model_call_limit:
      enable: true
      task_limit: 3000
      run_limit: 500
    表1 参数说明

    参数

    参数选项

    参数说明

    model_call_limit

    enable

    true/false

    开启或关闭模型调用上限限制:

    • true:开启。
    • false:关闭。

    task_limit

    整型

    同一任务下多次执行agent,累计模型调用次数上限。该参数值必须为大于run_limit的整数。

    run_limit

    整型

    每执行一次agent,模型调用次数的上限。该参数值必须为大于0的整数。

  5. 按“Esc”键退出编辑模式,输入:wq!,按“Enter”键保存并退出文件。
    • task_limit生效:同一任务下多次agent交互累计模型调用次数上限为3000次。超过上限时,agent自动停止并提示“Model call limits exceeded:thread limit(3000/3000)”。
    • run_limit生效:每执行一次agent,最大模型调用次数为500次。超过上限时,agent自动停止并提示“Model call limits exceeded:run limit(500/500)”。