塔尔图大学 发布 True Detective: A Deep Abductive Reasoning Benchmark 数据集, 应用在 侦探推理、人工智能评估 领域

塔尔图大学 本次发布的数据集 True Detective: A Deep Abductive Reasoning Benchmark, True Detective数据集由塔尔图大学计算机科学研究所创建，包含191个平均1200字的侦探谜题，源自“5 Minute Mystery”平台。每个谜题包含4-5个答案选项，旨在通过复杂的线索和观察测试高级推理能力。数据集的创建涉及专业和有抱负的作者编写谜题，每个谜题平均被尝试2000次，平均解决率为47%。该数据集主要用于评估大型语言模型在高级推理任务中的表现，特别是在解决复杂犯罪问题方面的能力。

查看True Detective: A Deep Abductive Reasoning Benchmark

README 内容： 

关于 塔尔图大学 , 塔尔图大学是爱沙尼亚的一所著名大学，位于爱沙尼亚第二大城市塔尔图。该校成立于1632年，是波罗的海地区最古老的大学之一，提供广泛的学科和研究领域，包括计算机科学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。