慕尼黑大学发布IMPERFECTIVENLI数据集,应用在自然语言推理、语言模型评估领域

慕尼黑大学本次发布的数据集IMPERFECTIVENLI,IMPERFECTIVENLI是由慕尼黑大学和东京大学的研究团队创建的诊断性数据集，旨在探究大语言模型对未完成体悖论的理解能力。该数据集包含400个经过严格人工验证的例句，涵盖100个目标性动词和100个非目标性动词，通过模板化生成确保句法一致性。数据构建过程结合了Gemini辅助重写和人工标注，重点关注动词的体态分类及逻辑条件交叉分析。该数据集主要用于自然语言推理领域，揭示语言模型在事件语义理解中存在的目标性偏差问题，为改进模型对动作过程与结果状态的逻辑区分提供评估基础。

查看IMPERFECTIVENLI

README内容：

关于慕尼黑大学,慕尼黑大学（Ludwig-Maximilians-Universität München）是德国巴伐利亚州慕尼黑市的一所公立研究型大学，成立于1472年，是德国历史最悠久、最著名的大学之一。

关于arXiv,arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。