奥胡斯大学 发布 REASONBENCH 数据集, 应用在 大语言模型、基准测试 领域

奥胡斯大学 本次发布的数据集 REASONBENCH, REASONBENCH是由奥胡斯大学和洛桑联邦理工学院联合推出的首个专注于量化大语言模型（LLM）推理不稳定性的基准测试数据集。该数据集包含模块化评估库、多轮运行协议和公开排行榜，覆盖了11种不同的LLM推理方法、4种模型和7种任务，旨在提供统计可靠的性能指标。数据集通过标准化推理框架、模型和任务，支持重复实验以评估推理的稳定性和可复现性，适用于安全关键领域如医疗决策和法律推理等，帮助研究者开发更可靠的推理方法和不确定性量化技术。

查看REASONBENCH

README 内容： 

关于 奥胡斯大学 , 奥胡斯大学是丹麦的一所公立研究型大学，成立于1928年，位于丹麦日德兰半岛的奥胡斯市。该校是丹麦规模第二大的大学，以其在人文、社会科学、自然科学和健康科学等领域的教学与研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。