阿布扎比人工智能大学(VILA Lab) 发布 Mobile-MMLU 数据集, 应用在 移动计算、自然语言处理 领域

阿布扎比人工智能大学(VILA Lab) 本次发布的数据集 Mobile-MMLU, Mobile-MMLU是一个为移动智能量身定制的大型基准数据集，由阿布扎比人工智能大学、普林斯顿大学和苹果公司共同创建。该数据集包含80个与移动设备使用情景相关的领域，共计16186个问题，这些问题被精心设计以反映现实世界中的移动使用模式。数据集的构建经历了领域选择、问题生成、相似性过滤和人工AI协作验证等步骤，以确保问题的质量和相关性。Mobile-MMLU旨在提供一个标准化的评估框架，用于开发和比较针对移动设备优化的语言模型，推动移动计算环境中生产力和决策的进步。

查看Mobile-MMLU

README 内容： 

关于 阿布扎比人工智能大学(VILA Lab) , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。