埃默里大学 发布 UPQA (User Preference Question Answering) 数据集, 应用在 问答系统、个性化模型 领域

埃默里大学 本次发布的数据集 UPQA (User Preference Question Answering), UPQA是由埃默里大学和亚马逊联合构建的短答案问答数据集，专为个性化模型编辑的标准化评估而设计。该数据集包含1000余条涵盖爱好、职业、家庭等多元主题的用户偏好数据，通过Claude-Sonnet-4生成四类难度递进的查询问题（直接提问、改写提问、隐含提问及产品推荐），并辅以语义关联的同义词簇增强鲁棒性。其创新性地从真实用户查询中构建评估场景，重点考察模型对用户特定事实的精准回忆与应用能力，填补了现有基准在信息检索任务上的空白。

查看UPQA (User Preference Question Answering)

关于 埃默里大学 , 埃默里大学是一所位于美国佐治亚州亚特兰大的私立研究型大学，成立于1836年，以医学、法律、商学等学科闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。