南加州大学 发布 CQ-Bench 数据集, 应用在 自然语言处理、跨文化交流 领域

南加州大学 本次发布的数据集 CQ-Bench, CQ-Bench是一个专门设计的基准，用于评估LLM在自然对话环境中推断隐性文化价值观的能力。该数据集通过结合世界价值观调查和GlobalOpinions数据集中的价值观，生成了多角色对话式故事。数据集构建过程中包含了严格的验证程序，最终验证中人类与模型的一致性达到98.2%。CQ-Bench包括三个任务：态度检测、价值选择和价值提取，旨在解决LLM在跨文化交流中遇到的问题。

查看CQ-Bench

README 内容： 

关于 南加州大学 , 南加州大学是一所位于美国加利福尼亚州洛杉矶的著名私立研究型大学，以其电影艺术学院和商学院闻名全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。