乔治梅森大学 发布 REVERSO 数据集, 应用在 大型语言模型、反事实推理 领域

乔治梅森大学 本次发布的数据集 REVERSO, REVERSO是一个新颖的基准数据集，用于评估大型语言模型是否能够遵循反事实指令来模拟具有反转表现的角色。该数据集以数学推理为代表性场景，改编自广泛采用的GSM8k数据集。REVERSO旨在通过模拟在数学推理方面具有高表现和低表现的学生，来评估LLM的反事实指令遵循能力。数据集还包括一个交叉设置，其中模型需要额外模拟角色的种族背景，以测试这种背景是否会影响模型模拟反转表现角色的能力。

查看REVERSO

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。