麻省理工学院（MIT） 发布 Platinum Benchmarks 数据集, 应用在 语言模型评估、认知能力测试 领域

麻省理工学院（MIT） 本次发布的数据集 Platinum Benchmarks, Platinum Benchmarks是一组经过精心策划的测试集，目的是最小化标签错误和歧义，以便能够评估语言模型在任务上是否能够达到100%的准确度。这些测试集覆盖了数学、逻辑、表格理解、阅读理解、常识推理和视觉理解等多个能力类别，包含的问题从简单的单一操作到高年级的数学问题不等。作者通过对现有十五个流行测试集的修订，移除或纠正了错误和歧义，从而构建了这些Platinum Benchmarks。这些测试集可用于评估前沿语言模型在不同难度级别任务上的可靠性边界。

查看Platinum Benchmarks

README 内容： 

关于 麻省理工学院（MIT） , 麻省理工学院（Massachusetts Institute of Technology，简称MIT）是美国一所位于马萨诸塞州剑桥市的私立研究型大学，以其在工程、计算机科学和物理学领域的研究而闻名。MIT也是世界顶尖的科技和工程学院之一，在多个学术和科研领域都有卓越的贡献。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。