香港理工大学 发布 ArxivRoll 数据集, 应用在 机器学习评估、学术论文分析 领域

香港理工大学 本次发布的数据集 ArxivRoll, ArxivRoll 是一个动态评估框架，旨在评估大型语言模型（LLMs）的实际性能和过度估计。该框架包括两个关键组件：SCP（排序、完形填空和预测），一个自动生成私有测试案例的生成器，以及 Rugged Scores（RS），一种衡量公共基准污染和训练偏差比例的指标。ArxivRoll 使用来自 ArXiv 的最新文章每六个月构建一个新的基准，用于对 LLM 性能进行一次性评估。

查看ArxivRoll

关于 香港理工大学 , 香港理工大学是一所以科技、工程和商业管理为主的研究型大学，位于中国香港特别行政区。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。