北京师范大学 发布 CK-Arena 数据集, 应用在 人工智能、自然语言处理 领域

北京师范大学 本次发布的数据集 CK-Arena, CK-Arena 是一个基于多人交互游戏的评估基准，旨在评估大型语言模型 (LLMs) 在动态环境中理解概念知识的推理能力。该数据集包含 529 个英文概念对，涵盖了广泛的类别，并具有足够的语义接近度和描述清晰度，使得游戏既具有挑战性又能够进行有意义的区分。CK-Arena 的创建过程包括对概念对的筛选和提示设计，以确保有效的沟通和角色特定的行为。该数据集旨在解决传统评估基准在评估概念理解方面的局限性，为评估 LLMs 在概念推理任务中的能力提供了一个标准化的方法。

查看CK-Arena

关于 北京师范大学 , 北京师范大学是中华人民共和国教育部直属的全国重点大学，是中国最早的师范大学之一，有‘中国教师教育的摇篮’之称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。