MMTU Benchmark Team 发布 MMTU 数据集, 应用在 表格数据理解、基准测试 领域

MMTU Benchmark Team 本次发布的数据集 MMTU, 该数据集名为MMTU，是一个大规模的基准测试，包含了超过30,000个问题，覆盖了25个现实世界中的表格任务。它旨在评估模型在专家级别对真实表格的理解、推理和操作能力。该数据集包含了来自计算机科学领域数十年对表格数据研究的多样化复杂任务。任务的范畴涉及表格的理解、推理以及在多个任务中的操作。

查看MMTU

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。