模型性能测试

模型性能测试包含三个测试：Embedding模型性能测试、Reranker模型性能测试和LLM模型测试。

1. 进入“model_test”目录。

   cd KunpengRAG/test-utils/performance-test/model-test

2. 配置Embedding模型、Reranker模型和LLM模型的名字、IP地址和端口参数，详情请参见3。
3. （可选，用户可自行选择是否对文本进行固定长度裁切）选择文本，填入test_text_length.py脚本中的“text”字段，脚本会对输入text进行245、256和512chunks进行裁切。脚本路径为“KunpengRAG/test-utils/performance-test/model-test/test_text_length.py”。
4. 进入model_test目录，运行test_text_length.py脚本。

   python3 test_text_length.py

5. Embedding模型性能测试。
   1. 将用户需要进行Embedding的文本填入test_emb_model.py脚本中的TEXT_256_TOKENS、TEXT_512_TOKENS参数。脚本路径为“KunpengRAG/test-utils/performance-test/model-test/test_emb_model.py”。
   2. 使用Python执行test_emb_model.py，命令如下所示，其中2为并发请求数，用户可以根据需求进行选择。

      python3 test_emb_model.py 2

      返回结果包含打印输出和excel文档输出。

      

6. Reranker模型性能测试。
   1. 将用户需要进行Reranker的文本填入test_rerank_model.py脚本中的query（问题）、text2/3/4/5/6（用于相关性排序）参数，脚本路径为“KunpengRAG/test-utils/performance-test/model-test/test_rerank_model.py”。
   2. 使用Python执行test_rerank_model.py脚本，命令如下所示，其中2为并发数，用户可以根据用户需求选择。

      python3 test_rerank_model.py 2

      返回结果包含打印输出和excel文档输出。

      

7. LLM模型性能测试。
   1. 将用户需要进行reranker的文本填入test_llm_model.py脚本中的TEXT_256_TOKENS、TEXT_512_TOKENS参数。脚本路径为“KunpengRAG/test-utils/performance-test/model-test/test_llm_model.py”。
   2. 使用Python执行test_llm_model.py脚本，命令如下所示，其中2为并发数，用户可以根据用户需求选择。

      python3 test_llm_model.py 2

      返回结果包含打印输出和excel文档输出。