因斯布鲁克大学 发布 RankArena 数据集, 应用在 自然语言处理、机器学习评估 领域

因斯布鲁克大学 本次发布的数据集 RankArena, RankArena是一个统一的平台，用于比较和分析检索、重排和RAG系统的性能，并收集人类和LLM的反馈。它支持多种评估模式，包括直接重排可视化、盲匹配对比较、监督手动文档注释和端到端RAG答案质量评估。该平台还集成了LLM-as-a-judge评估，能够比较模型生成的排名和人类真实标注。所有交互都存储为结构化评估数据集，可用于训练重排器、奖励模型、判断代理或检索策略选择器。RankArena旨在解决评估检索增强生成(RAG)和文档重排系统质量的问题，由于缺乏可扩展的、以用户为中心的、多视角的评估工具，这仍然是一个挑战。

查看RankArena

关于 因斯布鲁克大学 , 因斯布鲁克大学位于奥地利蒂罗尔州的首府因斯布鲁克，是一所历史悠久的高等学府。该大学成立于1669年，是奥地利最大的教育和研究机构之一，以其在自然科学、人文科学和社会科学领域的卓越研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。