中国科学院信息工程研究所 本次发布的数据集 Insight-UI Dataset, Insight-UI Dataset是一个用于增强模型对图形用户界面(GUI)环境理解的无指令导航数据集。该数据集从Common Crawl语料库中自动生成,涵盖了iOS、Android、Windows和Linux等多个平台,涉及312,000个域名,包含434,000个交互片段和1,456,000张图像。数据集通过模拟用户行为和页面渲染生成,无需人工标注或大型视觉语言模型。Insight-UI Dataset的应用领域主要集中在GUI代理模型的预训练,旨在提升模型在动态GUI环境中的操作能力,解决跨平台和跨设备的GUI交互问题。
关于 中国科学院信息工程研究所 , 中国科学院信息工程研究所是中国科学院下属的研究机构,主要从事信息安全、网络空间安全、大数据分析等领域的研究。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库,涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。




_1769672084863.jpg)