The Fin AI USA 发布 OrdRankBen 数据集, 应用在 自然语言处理、排序模型评估 领域

The Fin AI USA 本次发布的数据集 OrdRankBen, OrdRankBen是一个针对自然语言处理领域的新型排序基准数据集，由The Fin AI USA创建。该数据集包含两个具有不同序数标签分布的数据集，旨在捕捉多粒度的相关性区分。数据集通过重新注释MSMARCO验证集中的查询-段落对和测试集中的查询-文档对来构建，并为每个候选文本分配一个序数相关性标签。该数据集主要用于评估排序模型在处理细粒度相关性区分方面的能力，适用于解决需要精确相关性排序的任务。

查看OrdRankBen

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。