安特卫普大学 发布 Concept 数据集, 应用在 自然语言处理、语言模型评估 领域

安特卫普大学 本次发布的数据集 Concept, Concept数据集是安特卫普大学CLiPS研究中心的Ine Gevers和Walter Daelemans创建的，用于评估大型语言模型（LLMs）的抽象和归纳推理能力。该数据集包含从在线桌面游戏平台Board Game Arena收集的100个英语、法语、西班牙语和荷兰语游戏的日志，共计约1000个概念。每个游戏包含多个回合，每个回合都有一个概念。每个概念在单个游戏内是唯一的，但在不同游戏中可能会重复出现。数据集的内容包括每个回合的概念、玩家1提供的线索（具有层次结构）、玩家2的猜测。该数据集旨在解决LLMs在自然语言推理任务中的能力评估问题。

查看Concept

关于 安特卫普大学 , 安特卫普大学是位于比利时安特卫普的一所著名大学，CLiPS研究中心是其下属的一个研究机构，专注于语言处理和信息检索等领域的研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。