剑桥大学 发布 AVERIMATEC 数据集, 应用在 事实核查、证据验证 领域

剑桥大学 本次发布的数据集 AVERIMATEC, AVERIMATEC是一个包含1297个真实世界图文声明的数据集。每个声明都标注了包含网络证据的问答对，反映了关于裁决的分解推理。我们通过声明规范化、时间约束的证据标注和两阶段的充足性检查来减轻事实核查数据集中常见的挑战，如上下文依赖、时间泄露和证据不足。我们通过注释员研究评估了AVERIMATEC中注释的一致性，在裁决上达到κ=0.742，在问答对上达到74.7%的一致性。我们还提出了一个新的证据检索评估方法，并进行了广泛的实验，以建立使用开放网络证据验证图文声明的基线。

查看AVERIMATEC

关于 剑桥大学 , 剑桥大学是位于英国剑桥的一所世界著名研究型大学，历史悠久，是英语世界中第二古老的大学，以其在科学、文学和数学等领域的卓越贡献闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。