Rutgers University 发布 CounterBench 数据集, 应用在 反事实推理、自然语言处理 领域

Rutgers University 本次发布的数据集 CounterBench, CounterBench是一个专为评估大型语言模型在反事实推理任务上的性能而设计的综合数据集。该数据集由Rutgers University创建，包含1000个反事实推理问题，涵盖不同的难度级别、因果图结构、反事实问题类型和非 sensical名称变体。数据集中的问题旨在通过要求真正的推理而不仅仅是模式识别或记忆响应，系统地评估四个关键维度。该数据集适用于医疗保健、商业、公共管理等领域，支持对错过的机会和替代结果进行评估，从而指导决策制定。

查看CounterBench

Dataset card 内容： 

Files and versions 内容： 

关于 Rutgers University , 罗格斯大学是美国新泽西州的一所公立研究型大学，成立于1766年，是美国最古老的大学之一。罗格斯大学在多个学科领域享有盛誉，尤其在社会科学、生命科学和工程学方面表现突出。学校致力于提供高质量的教育和研究机会。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。