BITS Pilani 发布 WHODUNIT 数据集, 应用在 自然语言处理、文本推理 领域

BITS Pilani 本次发布的数据集 WHODUNIT, WHODUNIT数据集由BITS Pilani的研究人员构建，旨在评估大型语言模型在叙事背景下的推理能力。该数据集由公开领域的侦探和悬疑小说组成，挑战模型在阅读故事后识别犯罪者。数据集通过不同的角色命名增广，如原名、名字交换、以及替换为知名实体等，来评估模型的鲁棒性。数据集涵盖了不同作者和叙事风格的作品，保证了叙事结构和推理风格的多样性，适用于推理和长篇叙事理解的任务。

查看WHODUNIT

Dataset card 内容： 

Files and versions 内容： 

关于 BITS Pilani , 比拉尼理工学院是印度一所著名的工程技术类大学，成立于1964年，位于拉贾斯坦邦的比拉尼市。该校以其在工程、技术和管理教育方面的卓越表现而闻名，提供本科、硕士和博士课程。BITS Pilani在印度和国际上都有很高的声誉，其毕业生在科技和工程领域有着广泛的影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。