Climate Policy Radar 发布 rag-climate-expert-eval 数据集, 应用在 RAG系统评估、气候与能源 领域

Climate Policy Radar 本次发布的数据集 rag-climate-expert-eval, 该数据集是一个由气候和能源领域专家提供的人工标注集合，用于评估RAG系统的表现。它包含2,361个对1,138个查询的标注，涉及多个RAG管道。标注指标包括整体质量、相关性、忠实度和CPR生成策略。数据集使用不同的管道生成，每个管道由生成模型、提示类型和检索参数定义。标注由来自国际组织的16位能源专家提供，数据集采用CC-by-4.0许可。该数据集旨在通过多样化的标注偏好来分析RAG管道。

查看rag-climate-expert-eval

Dataset card 内容： 

Files and versions 内容： 

关于 Climate Policy Radar , Climate Policy Radar是一个专注于气候变化政策研究的组织机构，致力于追踪、分析和评估全球各地的气候政策动态，为政策制定者和研究者提供及时的信息和洞察。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。