中国电子科技大学 发布 PersonaFeedback 数据集, 应用在 自然语言处理、模型评估 领域

中国电子科技大学 本次发布的数据集 PersonaFeedback, PersonaFeedback是一个大型人类标注的数据集，旨在评估大型语言模型（LLM）根据预定义的用户角色和查询提供个性化响应的能力。该数据集由8298个人类标注的测试案例组成，根据用户角色的上下文复杂性和区分两个个性化响应的难度分为简单、中等和困难三个级别。PersonaFeedback通过提供一个二进制选择的评估任务，有效衡量了模型的个性化程度。数据集的创建过程包括用户角色构建、问题生成和答案生成，所有这些数据、标注协议和评估流程都将公开，以促进LLM个性化领域的研究。

查看PersonaFeedback

Dataset card 内容： 

Files and versions 内容： 

关于 中国电子科技大学 , 中国电子科技大学是位于中国四川省成都市的一所教育部直属全国重点大学，是教育部、工业和信息化部、四川省人民政府和成都市人民政府共建高校，入选国家“双一流”、“211工程”、“985工程优势学科创新平台”等。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。