鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

数据准备

RAG准确度评测包含以下两个过程:

  1. 测试数据集->RAG->生成RAG回答评测集
  2. RAG回答评测集->Ragas->分数
  1. 使用KunpengRAG仓库已提供的数据集和基于数据集生成的精准度测试集。
    1. 进入KunpengRAG仓库“test-utils/accuracy-test/data-preparation”目录。
      cd KunpengRAG/test-utils/accuracy-test/data-preparation
    2. 下载test_data.zip文件解压获取知识库精准度测试数据集和知识库数据。
  2. 用户自行准备数据集和精准度测试集。

    用户需要根据准备的数据集生成精准度测试集,测试集中包含给定的问题和标准的答案。

    以下为精准度测试集标准Json格式:
    [
      {
        "question": "问题1",
        "answer": "标准回答1"
      },
      {
        "question": "问题2",
        "answer": "标准回答2"
      },
    ……
    ]

    精准度测试集样例(其中“question”“answer”字段为必须,其他字段可根据用户需求自行添加)。