浙江大学 发布 GTArena 数据集, 应用在 自动化测试、GUI缺陷识别 领域

浙江大学 本次发布的数据集 GTArena, GTArena数据集由浙江大学计算机科学与技术学院开发，旨在为自动化GUI测试提供一个标准化的评估环境。该数据集包含6421条数据，涵盖真实移动应用、人工注入缺陷的应用以及合成数据，数据来源包括开源和闭源应用。数据集构建过程通过定义GUI缺陷的数据结构，并结合部分可观测马尔可夫决策过程（POMDP）模型，系统化地识别和分类GUI缺陷。该数据集主要用于评估多模态大语言模型在GUI测试中的表现，帮助研究人员分析模型在特定场景下的性能差距，并为未来GUI代理的开发提供指导。

查看GTArena

README 内容： 

关于 浙江大学 , 浙江大学是中国著名的综合性研究型大学，位于浙江省杭州市。该校成立于1897年，是中国最早的高等学府之一，以其在工程、科学、医学和人文学科等领域的卓越研究和教育而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。