宾夕法尼亚大学 发布 TURNABOUTLLM 数据集, 应用在 自然语言处理、模型评估 领域

宾夕法尼亚大学 本次发布的数据集 TURNABOUTLLM, TURNABOUTLLM是一个用于评估大型语言模型（LLM）演绎推理能力的新颖框架和数据集，它利用侦探游戏《逆转裁判》和《弹丸论破》的互动游戏玩法。该框架要求LLM在长篇叙事语境中识别证词和证据之间的矛盾，这是一个具有挑战性的任务，因为其问题提出了庞大的答案空间和多样化的推理类型。我们使用该数据集评估了十二个最先进的LLM，暗示了流行策略（如广泛的思考和Chain-of-Thought提示）在增强演绎推理方面的局限性。该结果还表明，上下文大小、推理步骤的数量和答案空间的大小对模型性能有不同的影响。总的来说，TURNABOUTLLM在复杂、叙事丰富的环境中为LLM的演绎推理能力提出了重大挑战。

查看TURNABOUTLLM

README 内容： 

关于 宾夕法尼亚大学 , 宾夕法尼亚大学是一所位于美国宾夕法尼亚州费城的世界著名私立研究型大学，创始于1740年，是美国第四古老的高等教育机构，也是美国东北部常春藤盟校之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。