滑铁卢大学 发布 MIRAGE-BENCH 数据集, 应用在 多语言处理、生成模型 领域

滑铁卢大学 本次发布的数据集 MIRAGE-BENCH, MIRAGE-BENCH是由滑铁卢大学和Vectara共同创建的多语言检索增强生成（RAG）系统基准测试数据集，涵盖18种不同语言。数据集基于MIRACL检索数据集构建，包含11195条评估数据和39763条训练数据。数据集的创建过程包括使用MIRACL中的查询和相关性判断，并通过GPT-4o等大型语言模型生成多语言答案。MIRAGE-BENCH主要用于评估多语言RAG系统在生成任务中的表现，旨在解决现有RAG基准测试主要集中在英语上的问题。

查看MIRAGE-BENCH

README 内容： 

关于 滑铁卢大学 , 滑铁卢大学位于加拿大，是一所著名的公立研究型大学，尤其以其在计算机科学、工程学和数学领域的卓越研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。