无处不在的知识处理实验室(UKP-TUDA) 发布 Benchmarking-IR (BEIR) 数据集, 应用在 信息检索、性能评估 领域

无处不在的知识处理实验室(UKP-TUDA) 本次发布的数据集 Benchmarking-IR (BEIR), BEIR是一个包含18个不同文本检索任务的数据集，由无处不在的知识处理实验室(UKP-TUDA)创建。数据集涵盖了从事实检查到新闻检索等多个领域，旨在评估信息检索模型在零样本设置下的泛化能力。BEIR数据集包括多种数据类型，如新闻文章、推文和科学出版物，以及不同大小的数据集，从3.6k到15M文档不等。数据集的创建过程涉及对公开可用数据集的精心选择，以确保多样性和挑战性。BEIR的应用领域广泛，旨在解决模型在未见领域和任务上的性能评估问题，推动信息检索系统的鲁棒性和泛化能力的进步。

查看Benchmarking-IR (BEIR)

README 内容： 

关于 无处不在的知识处理实验室(UKP-TUDA) , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。