南加州大学 发布 STEER-BENCH 数据集, 应用在 自然语言处理、社区规范 领域

南加州大学 本次发布的数据集 STEER-BENCH, STEER-BENCH是一个用于评估大型语言模型（LLMs）针对特定社区引导能力的基准测试。该数据集包含超过10,000个指令-响应对和5,500个多项选择题，以及相应的银标签，以测试与不同社区规范的一致性。数据集涵盖了19个领域中的30个对比subreddit对，旨在帮助LLMs更好地理解和适应社区特定的指导、偏好、规范或约束。

查看STEER-BENCH

README 内容： 

关于 南加州大学 , 南加州大学（University of Southern California，简称USC）是一所位于美国加利福尼亚州洛杉矶的私立研究型大学，是美国大学协会成员之一，也是美国西海岸最古老的顶尖研究型大学之一，以其电影艺术学院和商学院等多个学院闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。