剑桥大学 发布 Asper-Bench 数据集, 应用在 自然语言处理、机器学习评估 领域

剑桥大学 本次发布的数据集 Asper-Bench, Asper-Bench是一个由250个具有挑战性的任务组成的评估数据集，使用ASPERA框架生成。这些任务包括复杂的用户查询、模拟状态和相应的验证程序，用于评估大型语言模型（LLMs）在执行复杂动作方面的能力。该数据集旨在解决现有数据集在数据可用性和评估稳健性方面的挑战，并为评估LLMs生成满足复杂动作请求的程序的能力提供基准。

查看Asper-Bench

关于 剑桥大学 , 剑桥大学是位于英国剑桥的一所世界著名研究型大学，成立于1209年，历史悠久，是英语世界中第二古老的大学。剑桥大学以其在各个领域的卓越研究和学术成就而闻名，培养了众多诺贝尔奖得主。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。