冰岛大学 发布 MazeEval 数据集, 应用在 自然语言处理、空间推理 领域

冰岛大学 本次发布的数据集 MazeEval, MazeEval是一个用于评估语言模型的空间推理能力的基准数据集，通过坐标导航任务测试模型的空间推理能力。数据集包含从5x5到15x15不同复杂度的迷宫，模型只能使用坐标反馈和距离墙的信息进行导航，排除了视觉输入。数据集还包括在英语和冰岛语两种语言下的评估，以检验空间推理能力的跨语言迁移。

查看MazeEval

README 内容： 

关于 冰岛大学 , 冰岛大学是冰岛最大的高等教育机构，成立于1911年，位于首都雷克雅未克。该大学提供广泛的本科、硕士和博士学位课程，涵盖人文、社会科学、自然科学、工程和健康科学等多个领域。冰岛大学以其高质量的教育和研究而闻名，是冰岛学术研究的中心。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。