波恩大学 发布 SocialIQA 数据集, 应用在 语言模型、社会常识推理 领域

波恩大学 本次发布的数据集 SocialIQA, SocialIQA数据集由波恩大学对话式人工智能与社会分析实验室扩展，旨在评估语言模型在不同社会人口统计风格下的鲁棒性。该数据集包含1954个样本，源自SocialIQA验证集，涵盖了多种社会常识推理问题。数据集的创建过程通过LLAMA2模型生成不同人口统计风格的释义，确保语义相似度高于0.8。该数据集主要用于评估语言模型在复杂语言场景中的推理能力，特别是在面对不同人口统计风格的语言变化时的表现。

查看SocialIQA

关于 波恩大学 , 波恩大学是德国的一所著名公立大学，位于北莱茵-威斯特法伦州的波恩市。该大学成立于1818年，以其在人文科学、自然科学和经济学等领域的研究和教学而闻名。波恩大学是德国精英大学之一，拥有多个研究中心和实验室，致力于推动科学和技术的前沿研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。