东北大学 发布 RoCar Evaluation Tasks 数据集, 应用在 自然语言处理、模型评估 领域

东北大学 本次发布的数据集 RoCar Evaluation Tasks, 该数据集基于随机生成的任务图谱构建了一系列评估任务，旨在评估大型语言模型在推理和记忆能力方面的表现。数据集包含了不同距离的推理能力评估任务，以及设计用于在多个步骤中测试记忆能力的任务。总的来说，该数据集的任务旨在对大型语言模型的推理和记忆能力进行综合评估。

查看RoCar Evaluation Tasks

README 内容： 

关于 东北大学 , 东北大学（Northeast University，简称NEU）是中国的一所综合性大学，位于辽宁省沈阳市。学校始建于1923年，是一所以工为主，工学、理学、管理学、文学、法学、经济学、艺术学等多学科协调发展的全国重点大学。东北大学在材料科学、工程学等领域具有较高学术声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。