南洋理工大学 发布 基于用户画像和对话历史的LLM行为适应评估数据集 数据集, 应用在 自然语言处理、用户画像分析 领域

南洋理工大学 本次发布的数据集 基于用户画像和对话历史的LLM行为适应评估数据集, 本研究提出了一种评估大型语言模型（LLM）如何根据用户的年龄、职业和教育水平等社会人口统计学特征调整其反应的框架。为了实现这一目标，研究团队构建了一个合成数据集，该数据集将对话历史与独特的用户画像进行配对，并使用来自价值观调查模块（VSM 2013）的问题来探索价值表达。数据集的创建过程涉及使用多代理管道，将来自精心策划的模拟数据集中的用户画像与对话历史配对，从而生成包含社会人口统计学属性的对话数据。该数据集旨在解决LLM在处理不同格式的用户属性时是否能够保持行为一致性的问题，并评估LLM在反映用户期望方面的能力。此外，研究还发现，大多数模型在年龄和教育水平等人口统计学特征发生变化时，会调整其表达的价值，但不同模型在不同输入格式之间的一致性存在差异。具有更强推理能力的模型在格式之间的一致性方面表现更好，这突出了推理在稳健的社会人口统计学适应中的重要性。

查看基于用户画像和对话历史的LLM行为适应评估数据集

关于 南洋理工大学 , 南洋理工大学，简称南大，是新加坡的一所综合性研究型大学。南大以工程学著称，在工程、商业、科学、人文和社会科学等领域也有很强的研究实力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。