Meta 发布 Linguini 数据集, 应用在 语言模型、语言推理 领域

Meta 本次发布的数据集 Linguini, Linguini数据集由Meta等机构创建，旨在评估语言模型的语言推理能力，不依赖于预先的语言知识。数据集包含894个问题，分为160个问题，涵盖75种低资源语言，主要从国际语言学奥林匹克竞赛中提取。数据集的创建过程涉及从2003年到2023年的国际语言学奥林匹克竞赛中筛选问题，排除包含图像或解释的问题。数据集的应用领域主要是评估和提升语言模型的语言推理能力，解决跨语言的推理问题。

查看Linguini

README 内容： 

关于 Meta , Meta（前身为Facebook）是一家全球领先的社交媒体和科技公司，专注于开发和提供社交网络服务、虚拟现实技术和人工智能解决方案。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。