特拉维夫大学 发布 LMentry 数据集, 应用在 语言模型测试、基准评估 领域

特拉维夫大学 本次发布的数据集 LMentry, LMentry是一个专为大型语言模型设计的基准测试数据集，由特拉维夫大学创建。该数据集包含25个简单的语言任务，旨在快速评估模型的能力和鲁棒性。这些任务对人类来说非常简单，如包含特定单词的句子写作或识别列表中属于特定类别的单词。数据集创建过程中，每个任务都遵循了特定的指导原则，确保任务的简单性和可解释性。LMentry的应用领域主要集中在零样本评估，旨在解决大型语言模型在简单任务上的表现问题，以及对输入扰动的鲁棒性测试。

查看LMentry

README 内容： 

关于 特拉维夫大学 , 特拉维夫大学（Tel Aviv University）是以色列的一所著名高等学府，活跃于人工智能和机器学习领域，提供多种NLP模型和数据集。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。