香港中文大学 发布 UI-Genie-RM-517k, UI-Genie-Agent-16k 数据集, 应用在 图形用户界面代理、机器学习 领域

香港中文大学 本次发布的数据集 UI-Genie-RM-517k, UI-Genie-Agent-16k, UI-Genie是一个自我改进框架，旨在解决GUI代理中的两个关键挑战：轨迹结果的验证具有挑战性，高质量的训练数据不可扩展。该框架通过奖励模型和自我改进流程分别解决这两个挑战。奖励模型UI-Genie-RM具有图像-文本交错架构，可以有效地处理历史上下文并统一动作级别和任务级别的奖励。为了支持UI-Genie-RM的训练，我们开发了精心设计的生成数据策略，包括基于规则的验证、受控轨迹破坏和硬负挖掘。为了解决第二个挑战，自我改进流程通过在动态环境中通过奖励引导的探索和结果验证来增强代理和奖励模型，逐步扩展可解决的复杂GUI任务。为了训练模型，我们生成了UI-Genie-RM-517k和UI-Genie-Agent-16k，建立了第一个专为GUI代理设计的奖励特定数据集，同时展示了无需手动注释即可生成高质量合成轨迹的能力。实验结果表明，UI-Genie在多个GUI代理基准测试中实现了最先进的性能，具有三代数据-模型自我改进。我们开源了我们的完整框架实现和生成的数据集，以促进GUI代理的进一步研究。

查看UI-Genie-RM-517k, UI-Genie-Agent-16k

README 内容： 

关于 香港中文大学 , 香港中文大学是一所位于中国香港的公立研究型大学，成立于1963年，是香港第二所成立的大学。它是香港八大院校之一，提供多个学科的研究与教学，多媒体实验室是其下属的研究机构之一，专注于多媒体领域的研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。