模型调用上限
DevKit AI支持限制模型调用次数,防止异常情况下模型被无限调用导致资源浪费或成本失控。
操作步骤
- 使用
SSH 远程登录工具,登录DevKit AI的安装节点。 - 进入DevKit AI基础包解压后目录。
cd DevKit-AI-x.x.x-Linux-Kunpeng
- 打开“config/config.yaml”文件。
vi config/config.yaml
- 按“i”进入编辑模式,新增如下内容。
model_call_limit: enable: true task_limit: 3000 run_limit: 500
表1 参数说明 参数
参数选项
参数说明
model_call_limit
enable
true/false
开启或关闭模型调用上限限制:
- true:开启。
- false:关闭。
task_limit
整型
同一任务下多次执行agent,累计模型调用次数上限。该参数值必须为大于run_limit的整数。
run_limit
整型
每执行一次agent,模型调用次数的上限。该参数值必须为大于0的整数。
- 按“Esc”键退出编辑模式,输入:wq!,按“Enter”键保存并退出文件。
- task_limit生效:同一任务下多次agent交互累计模型调用次数上限为3000次。超过上限时,agent自动停止并提示“Model call limits exceeded:thread limit(3000/3000)”。
- run_limit生效:每执行一次agent,最大模型调用次数为500次。超过上限时,agent自动停止并提示“Model call limits exceeded:run limit(500/500)”。
父主题: 高阶功能