高瓴人工智能学院 发布 CharacterEval 数据集, 应用在 角色扮演对话、人工智能评估 领域

高瓴人工智能学院 本次发布的数据集 CharacterEval, CharacterEval是一个专为评估中文角色扮演对话代理（RPCA）而设计的大型数据集，由中国人民大学和北京邮电大学的人工智能学院共同创建。该数据集包含1,785个多轮角色扮演对话，总计11,376个示例，涵盖77个来自中国小说和剧本的角色。数据集的构建过程包括使用GPT-4提取对话，随后进行严格的人工质量控制，并通过百度百科补充深入的角色资料。CharacterEval不仅用于评估RPCA的对话能力，还涉及角色一致性、角色扮演吸引力和个性回测等多个维度，旨在全面评估RPCA的性能，解决现有评估方法的不足。

查看CharacterEval

README 内容： 

关于 高瓴人工智能学院 , 高瓴人工智能学院是中国人民大学下属的一个专注于人工智能研究和教育的学院。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。