Apple 发布 Massive Multitask Agent Understanding (MMAU) 数据集, 应用在 多任务学习、人工智能评估 领域

Apple 本次发布的数据集 Massive Multitask Agent Understanding (MMAU), 该数据集是一个全面性的基准测试，名为MMAU，它评估模型在五个领域的表现，这些领域包括工具使用、有向无环图（DAG）问答、数据科学和机器学习编程、竞赛级别的编程以及数学。覆盖了五种基本能力：理解力、推理、规划、问题解决和自我纠正。MMAU精心设计了20个任务，包含超过3000个独特的提示。这项任务的目的是跨多种任务和能力对语言模型进行评估。

查看Massive Multitask Agent Understanding (MMAU)

关于 Apple , 苹果公司是一家全球知名的科技公司，总部位于美国加利福尼亚州库比蒂诺。公司主要设计、开发和销售消费电子产品、计算机软件和在线服务。其知名产品包括iPhone、iPad、Mac电脑、Apple Watch和Apple TV等。苹果公司以其创新的产品设计和强大的品牌影响力在全球科技行业中占据重要地位。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。