新加坡国立大学 发布 macOSWorld 数据集, 应用在 macOSGUI评估、多语言交互安全 领域

新加坡国立大学 本次发布的数据集 macOSWorld, macOSWorld是一个全面的多语言交互式基准，用于评估在macOS环境下的GUI代理。该数据集包含了202个多语言交互任务，跨越30个应用程序（其中28个是macOS独有的），任务指导和操作系统界面提供5种语言（英语、中文、阿拉伯语、日语和俄语）。macOSWorld还包括一个专门的安全基准子集，用于评估GUI代理在面对欺骗性攻击时的安全性。通过对六个GUI代理的评估，结果表明专有的计算机使用代理在成功率上领先于开源轻量级研究模型，强调了macOS领域适配的必要性。多语言基准也暴露了常见的弱点，特别是在阿拉伯语方面，与英语相比平均性能下降27.5%。安全基准测试的结果也强调了欺骗性攻击的普遍性，需要立即关注。

查看macOSWorld

README 内容： 

关于 新加坡国立大学 , 新加坡国立大学是一所位于新加坡的公立研究型大学，以其卓越的学术研究和教育质量在国际上享有盛誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。