密歇根大学 发布 IOLBENCH 数据集, 应用在 计算语言学、人工智能 领域

密歇根大学 本次发布的数据集 IOLBENCH, IOLBENCH是一个基于国际语言学奥林匹克竞赛（IOL）问题的高质量语言学推理数据集，由密歇根大学和微软的研究团队创建。该数据集包含1500个问题实例，涵盖了语音学、形态学、句法学和语义学等多个语言学领域，旨在评估大语言模型在复杂语言学推理任务中的表现。数据集通过从2003年至2024年的IOL竞赛中精选问题构建，问题设计为自包含且独立于外部知识，挑战模型从有限示例中推断语言学规则。IOLBENCH的应用领域主要集中在计算语言学和人工智能领域，旨在推动模型在语言学推理能力上的进步，特别是解决抽象规则归纳和组合泛化等问题。

查看IOLBENCH

README 内容： 

关于 密歇根大学 , 密歇根大学（University of Michigan）是美国密歇根州的一所著名公立研究型大学，成立于1817年。它是美国大学协会的创始成员之一，以其在工程、医学、法律、商业和教育等领域的卓越研究和教学而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。