华为诺亚方舟实验室 发布 SPA-BENCH 数据集, 应用在 智能手机代理、自动化任务 领域

华为诺亚方舟实验室 本次发布的数据集 SPA-BENCH, SPA-BENCH是由华为诺亚方舟实验室和哈尔滨工业大学（深圳）联合创建的智能手机代理评估基准数据集。该数据集包含340个任务，涵盖系统应用和第三方应用，支持中英文双语，旨在评估基于大型语言模型（LLM）和多模态大型语言模型（MLLM）的智能手机代理在真实交互环境中的表现。数据集创建过程中，通过人工标注和验证确保任务质量，涵盖单应用和跨应用任务，难度级别从简单到复杂。SPA-BENCH的应用领域主要集中在智能手机控制和自动化任务，旨在解决智能手机代理在实际应用中的性能评估问题。

查看SPA-BENCH

关于 华为诺亚方舟实验室 , 华为诺亚方舟实验室是华为公司旗下的一个研究机构，专注于人工智能和大数据技术的研究与应用。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。