KDD Cup 发布 CRAG Benchmark 数据集, 应用在 自然语言处理、机器学习评估 领域

KDD Cup 本次发布的数据集 CRAG Benchmark, 该数据集名为CRAG基准，旨在解决现有问答基准在评估检索增强生成（RAG）系统时所面临的多样化和动态挑战的限制。它提供了一个全面评估RAG系统性能的方法。此外，该基准还允许基于模型的自动评估，并包含一个基于规则匹配和GPT-4评估的评分系统。该数据集的规模包括1371个公开测试案例，其任务是对检索增强生成系统进行评估。

查看CRAG Benchmark

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。