tokens统计

操作步骤

1. 使用SSH远程登录工具，登录DevKit AI的安装节点。
2. 进入DevKit AI基础包解压后目录。

   cd DevKit-AI-x.x.x-Linux-Kunpeng

3. 打开“config/config.yaml”文件。

   vi config/config.yaml

4. 按“i”进入编辑模式，新增如下内容。

   token_tracker:
     enable: true
   set_context:
     max_context_tokens:

   表1 参数说明

   参数		参数选项	参数说明
   token_tracker	enable	true/false	开启或关闭token统计功能： true：开启。 false：关闭。
   set_context	max_context_tokens	整型	手动设置的模型上下文窗口大小，必须为大于0的整数。缺省时系统会自动匹配对应模型的上下文。

5. 按“Esc”键退出编辑模式，输入:wq!，按“Enter”键保存并退出文件。

   功能开启，每次对话结束后会生成一个对当前对话的上下文和本次对话的tokens统计。若手动设置max_context_tokens，则模型的上下文大小按照手动设置，缺省时系统会自动匹配对应模型的上下文。