东北大学 发布 FineState-Bench 数据集, 应用在 用户界面代理、细粒度控制 领域

东北大学 本次发布的数据集 FineState-Bench, FineState-Bench是一个针对GUI代理细粒度状态控制的全面基准测试框架。该数据集由东北大学和MBZUAI创建，包含2257个任务基准，涵盖了桌面、Web和移动平台。数据集旨在量化细粒度控制能力，并使用四阶段指标进行全面的感知到控制的评估。此外，FineState-Bench还提供了一个即插即用的视觉诊断助手（VDA），用于对精细操作中的感知和定位进行分析。实验结果表明，最先进的模型在细粒度交互精度上仅达到32.8%。FineState-Bench的所有资源都是开源的。

查看FineState-Bench

README 内容： 

关于 东北大学 , 东北大学位于中国辽宁省沈阳市，是一所以工为主，工学、理学、管理学、文学、法学、经济学、艺术学等多学科协调发展的全国重点大学。它是国家首批“211工程”和“985工程”重点建设的高校之一，也是中国教育部直属的全国重点大学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。