发布 cmt-benchmark-druid 数据集, 应用在 事实核查、自然语言处理 领域

本次发布的数据集 cmt-benchmark-druid, DRUID 数据集是 cmt-benchmark 项目的一部分，基于 Hagström 等人（2024年）的 DRUID 数据集。这个版本的数据集从 DRUID 数据集中抽取了 4500 条记录，每条记录都包含一个“真实目标”（事实核查裁决）和一个“新目标”（上下文的立场）。数据集分为两个版本：gpt2-xl 和 pythia-6.9b，每个版本都有相应的验证集（200个样本）和测试集（剩余样本）。数据集包含多个列，其中一些列在所有版本中保持一致，如样本 id、上下文类型、模板、正确答案等，而其他列则依赖于数据集的版本，如模型预测结果和概率等。数据集的创建过程包括下载 DRUID 样本、筛选具有足够事实核查裁决的样本、将证据立场映射到新目标、分类上下文类型、使用模板创建提示以及收集模型预测结果。

查看cmt-benchmark-druid

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。