新加坡国立大学 本次发布的数据集 FormFactory, FormFactory是一个针对多模态表单填充任务的交互式基准测试套件,包含一个基于网络的界面、后端评估模块和一个精心构建的数据集。数据集由25个来自现实应用场景的多样化表单组成,以及用户提供的文档或指令与相应13800个字段值注释的配对数据集。该套件允许多模态大语言模型(MLLMs)读取上下文输入,与网络界面交互,并通过点击和类型操作完成表单,最终根据字段级别的正确性进行自动评估。该基准涵盖了广泛的领域、布局和字段类型,提供了真实世界表单填写工作流程的高保真模拟。
关于 新加坡国立大学 , 新加坡国立大学是新加坡的一所综合性大学,是亚洲最顶尖的高等学府之一,提供多样化的本科和研究生课程。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库,涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。





_1769672084863.jpg)