Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) 发布 SocialMaze 数据集, 应用在 自然语言处理、社交推理 领域

Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) 本次发布的数据集 SocialMaze, SocialMaze是一个旨在评估大型语言模型（LLMs）社交推理能力的新基准数据集。该数据集由三个核心挑战组成：深度推理、动态交互和信息不确定性，并提供六个多样化的任务，涵盖社交推理游戏、日常生活交互和数字社区平台。数据集共包含64000条数据，通过自动化和人工验证确保数据质量，旨在解决LLMs在社交推理任务中的能力评估问题。

查看SocialMaze

Dataset card 内容： 

Files and versions 内容： 

关于 Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) , Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) 是世界上第一所专注于人工智能的研究生大学，位于阿联酋阿布扎比，提供人工智能领域的硕士和博士学位课程。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。