字节跳动 发布 UI-TARS 数据集, 应用在 GUI交互、任务自动化 领域

字节跳动 本次发布的数据集 UI-TARS, UI-TARS是由字节跳动和清华大学联合开发的一个大规模GUI截图数据集，旨在提升GUI代理模型的感知和交互能力。该数据集包含从网站、应用程序和操作系统中收集的截图，并提取了元数据如元素类型、边界框和文本内容。数据集涵盖了元素描述、密集标注、状态转换标注、问答和标记提示等任务，支持模型在多平台上的精确交互。通过大规模动作轨迹和6M GUI教程的爬取，UI-TARS能够进行系统2推理和迭代训练，显著提升了其在动态环境中的适应性和决策能力。该数据集的应用领域包括任务自动化、工作流优化和GUI交互的智能化。

查看UI-TARS

README 内容： 

关于 字节跳动 , 字节跳动是一家全球领先的互联网科技公司，成立于2012年，总部位于北京。该公司以开发创新的内容平台和应用程序而闻名，如抖音（TikTok）、今日头条等。字节跳动致力于通过技术提升信息传播的效率和体验，业务覆盖全球多个国家和地区。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。