清华大学 发布 TwinVoice 数据集, 应用在 自然语言处理、人工智能评估 领域

清华大学 本次发布的数据集 TwinVoice, TwinVoice是一个用于评估大型语言模型（LLMs）在模拟个人身份方面的综合基准。该数据集涵盖了三个维度：社会身份（公共社交互动）、人际身份（私人对话）和叙事身份（基于角色的表达）。它进一步将LLM性能的评估分解为六个基本能力，包括观点一致性、记忆回忆、逻辑推理、词汇忠实度、身份语调和句法风格。实验结果表明，尽管高级模型在身份模拟方面取得了适度的准确性，但它们在句法风格和记忆回忆等能力方面仍然不足。因此，LLMs的平均性能仍然远低于人类基准。TwinVoice旨在解决当前身份模拟评估的局限性，并为推动个性化人工智能的进步提供关键见解。

查看TwinVoice

关于 清华大学 , 清华大学是中国著名的高等学府，位于北京，是中国顶尖的综合性研究型大学之一，具有很高的国际声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。