中国科学院计算技术研究所 发布 RUIE-Bench 数据集, 应用在 信息提取、模型评估 领域

中国科学院计算技术研究所 本次发布的数据集 RUIE-Bench, RUIE-Bench是一个由大型语言模型生成的对抗性扰动组成的新基准数据集，旨在评估通用信息提取模型的鲁棒性。该数据集由中国科学院计算技术研究所网络数据科学与技术重点实验室构建，包含14种不同扰动类型的11580个样本，覆盖了命名实体识别、关系提取和事件检测三个任务。数据集通过人工验证确保了注释的准确性，并利用大型语言模型生成多样化且真实的扰动。

查看RUIE-Bench

关于 中国科学院计算技术研究所 , 中国科学院计算技术研究所成立于1956年，是中国计算机科学技术领域的重要研究机构之一，主要致力于计算机系统结构、计算机软件与理论、并行与分布式系统、网络与通信技术等领域的研究与开发。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。