Ant Group 发布 Bi’anBench 数据集, 应用在 自然语言处理、模型评估 领域

Ant Group 本次发布的数据集 Bi’anBench, Bi’anBench是一个双语的基准数据集，由Ant Group创建，旨在检测检索增强生成（RAG）中的虚构现象。该数据集涵盖了四种RAG场景：问答、总结、数据到文本和机器翻译，包含22,992个测试案例。数据集通过合成具有语义合理但事实不一致的修改来构建，支持多种语言和领域的复杂任务，用于评估模型在RAG虚构检测方面的性能。

查看Bi’anBench

README 内容： 

关于 Ant Group , 蚂蚁集团是一家中国的科技公司，主要从事金融科技服务，旗下拥有支付宝等知名品牌。公司致力于通过技术创新推动普惠金融发展，业务涵盖支付、理财、信贷、保险等多个领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。