Allen Institute for AI 发布 ContextEval 数据集, 应用在 语言模型评估、文本生成 领域

Allen Institute for AI 本次发布的数据集 ContextEval, ContextEval数据集提供了与论文《Contextualized Evaluations: Taking the Guesswork Out of Language Model Evaluations》相关的数据。该数据集包含自动评分和人工评分的判断，用于实验。数据集的结构包括查询列表、自动评分判断和人工评分判断。查询列表中的每个实例包含查询、来源数据集名称和示例ID。自动评分判断和人工评分判断分别包含模型响应、评估判断、上下文等信息。数据集的语言为英语，任务类别为文本生成。

查看ContextEval

Dataset card 内容： 

Files and versions 内容： 

关于 Allen Institute for AI , 艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。