百度公司 发布 MAIR 数据集, 应用在 信息检索、模型评估 领域

百度公司 本次发布的数据集 MAIR, MAIR（Massive Instructed Retrieval Benchmark）是一个大规模的异构信息检索基准，包含126个不同的信息检索任务，涵盖6个领域。数据集从现有的信息检索数据集中收集，包括SIGIR资源跟踪论文、现有基准任务、TREC共享任务和最近的LLM基准。数据集包含10,038个查询和4,274,916个文档，通过数据采样和清洗过程构建，确保评估的准确性和成本效益。MAIR旨在评估模型在未见任务上的泛化能力，特别适用于评估指令调优的检索模型，解决信息检索中的多样化任务和长尾任务的挑战。

查看MAIR

README 内容： 

关于 百度公司 , 百度公司是中国领先的互联网技术公司，主要提供搜索引擎服务，同时也涉足人工智能、自动驾驶、云计算等多个领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。