香港大学 发布 OSWORLD-G, JEDI 数据集, 应用在 图形用户界面、智能代理 领域

香港大学 本次发布的数据集 OSWORLD-G, JEDI, OSWORLD-G是一个包含564个精细标注样本的全面基准，涵盖了文本匹配、元素识别、布局理解、精确操作等多种任务类型。JEDI是一个包含400万个示例的计算机使用接地数据集，通过多视角解耦任务合成。这两个数据集旨在帮助社区解决图形用户界面接地挑战，并训练模型以提高接地能力。数据集已在ScreenSpot-v2、ScreenSpot-Pro和OSWORLD-G等基准上进行评估，结果显示该数据集能够显著提高模型的接地能力，并在OSWorld和WindowsAgentArena等基准上直接提升了代理在复杂任务中的能力。

查看OSWORLD-G, JEDI

关于 香港大学 , 香港大学是一所位于中国香港的国际化公立研究型大学，成立于1911年，是香港历史最悠久的高等教育机构之一。它在多个学科领域都有显著的研究成就，是亚洲及世界知名的高等学府。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。