里尔大学 发布 Role-Playing Eval (RPEval) 数据集, 应用在 自然语言处理、模型评估 领域

里尔大学 本次发布的数据集 Role-Playing Eval (RPEval), RPEval是一个专门用于评估大型语言模型角色扮演能力的基准数据集。该数据集由里尔大学、CNRS、里尔中央理工学院、UMR 9189 CRIStAL等研究机构联合创建，旨在解决大型语言模型在角色扮演方面的评估难题。数据集包含了9018个场景，涵盖了情感理解、决策制定、道德一致性和角色一致性四个关键维度。数据集的构建过程包括角色描述生成、场景创建和众包标注。RPEval适用于研究大型语言模型在模拟人际互动方面的能力，并为相关研究提供了可复现的评估方法。

查看Role-Playing Eval (RPEval)

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。