南加州大学 发布 COUNSELBENCH 数据集, 应用在 心理健康、自然语言处理 领域

南加州大学 本次发布的数据集 COUNSELBENCH, COUNSELBENCH是一个大型基准数据集，由100名心理健康专家共同开发，旨在评估和压力测试大型语言模型（LLMs）在单一回合的心理健康咨询中的表现。该数据集分为两部分：COUNSELBENCH-EVAL包含2000个专家对GPT-4、LLaMA 3、Gemini和在线人类治疗师对真实患者问题的回答的评价，每个回答都根据六个临床相关维度进行评分，并提供书面理由和跨度级别注释。COUNSELBENCH-ADV则包含120个由专家编写的对抗性咨询问题，旨在触发特定的模型问题。该数据集为评估和改进LLMs在关键心理健康场景中的行为提供了临床基础的框架。

查看COUNSELBENCH

README 内容： 

关于 南加州大学 , 南加州大学是一所位于美国加利福尼亚州洛杉矶的著名私立研究型大学，以其电影艺术学院和商学院闻名全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。