数据准备
RAG准确度评测包含以下两个过程:
- 测试数据集->RAG->生成RAG回答评测集
- RAG回答评测集->Ragas->分数
- 使用KunpengRAG仓库已提供的数据集和基于数据集生成的精准度测试集。
- 进入KunpengRAG仓库“test-utils/accuracy-test/data-preparation”目录。
cd KunpengRAG/test-utils/accuracy-test/data-preparation
- 下载test_data.zip文件解压获取知识库精准度测试数据集和知识库数据。
- 进入KunpengRAG仓库“test-utils/accuracy-test/data-preparation”目录。
- 用户自行准备数据集和精准度测试集。
用户需要根据准备的数据集生成精准度测试集,测试集中包含给定的问题和标准的答案。
以下为精准度测试集标准Json格式:[ { "question": "问题1", "answer": "标准回答1" }, { "question": "问题2", "answer": "标准回答2" }, …… ]精准度测试集样例(其中“question”和“answer”字段为必须,其他字段可根据用户需求自行添加)。

父主题: 准确度测试