复旦大学 发布 EvaLearn 数据集, 应用在 自然语言处理、模型评估 领域

复旦大学 本次发布的数据集 EvaLearn, EvaLearn是一个用于评估大型语言模型（LLMs）在挑战性任务中的学习和效率能力的开创性基准。它包含648个挑战性问题，分为182个序列，每个序列专注于一个任务类型。与大多数现有的并行评估基准不同，EvaLearn要求模型依次解决这些问题，从而能够利用从先前解决方案中获得的经验。EvaLearn提供五个全面的自动化指标来评估模型并量化其学习能力和效率。EvaLearn对九个前沿模型进行了广泛的基准测试，并观察到了不同的性能配置。该数据集旨在解决当前LLMs在学习和适应特定任务的能力方面的评估不足问题。

查看EvaLearn

README 内容： 

关于 复旦大学 , 复旦大学是中国著名的综合性研究型大学，位于中国上海，是中国最早的高等学府之一，拥有多个学科领域的优秀研究成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。