中国科学院软件研究所 发布 Arranged and Organized Extraction Benchmark (AOE) 数据集, 应用在 自然语言处理、知识提取 领域

中国科学院软件研究所 本次发布的数据集 Arranged and Organized Extraction Benchmark (AOE), AOE数据集是一个双语的基准数据集，旨在评估大型语言模型（LLMs）理解碎片化文档并将孤立信息重构为有序表格的能力。该数据集包括来自学术、法律和金融三个不同领域的文档和数据，每个领域都提供了独特的挑战，反映了现实世界的应用场景。AOE包含了11个精心设计的任务，要求模型生成针对不同输入查询的特定上下文表格模式。数据集的创建过程严格遵循真实性、完整性和挑战性的原则，确保了模型能够从复杂的真实世界文本中提取出细粒度、可验证的 structured 数据。AOE数据集的应用领域包括学术研究、法律分析和金融分析等，旨在解决当前LLMs在处理多源知识整合和生成有序输出方面的不足。

查看Arranged and Organized Extraction Benchmark (AOE)

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。