东京大学 发布 MMLU-ProX 数据集, 应用在 多语言处理、自然语言推理 领域

东京大学 本次发布的数据集 MMLU-ProX, MMLU-ProX是一个全面的多语言基准，包含13种类型多样的语言，每种语言大约有11829个问题。该数据集在MMLU-Pro的基础上构建，保持了其高难度和推理关注的设计，同时扩展了语言覆盖范围。MMLU-ProX通过半自动化的翻译过程，确保了概念准确性、术语一致性和文化相关性。该数据集的创建目的是为了评估大型语言模型在多语言环境下的推理能力，目前仍在持续扩展中。

查看MMLU-ProX

关于 东京大学 , 东京大学是日本最古老、最有声望的研究型国立大学，以其在多个学术领域的卓越研究与教育而闻名于世。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。