华东师范大学 发布 Unanswerable Math Word Problem (UMWP) 数据集, 应用在 数学问题处理、语言模型评估 领域

华东师范大学 本次发布的数据集 Unanswerable Math Word Problem (UMWP), UMWP数据集是由华东师范大学软件工程学院和复旦大学计算机科学学院联合开发的，旨在评估大型语言模型在无法回答的数学文字问题上的幻觉现象。该数据集包含5200个问题，分为五个类别，其中一半是可回答问题，一半是不可回答问题。数据集的创建过程涉及对现有数学问题数据集的修改，通过特定的策略将可回答问题转换为不可回答问题。UMWP数据集主要用于评估和改进大型语言模型在处理数学问题时的准确性和可靠性，特别是在面对复杂或模糊情境时的表现。

查看Unanswerable Math Word Problem (UMWP)

README 内容： 

关于 华东师范大学 , 华东师范大学是中国的一所重点综合性大学，位于上海市，是教育部直属的全国重点大学之一。学校在教育学、心理学、生态学等领域具有较高的学术声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。