日本先进科学技术研究所 发布 Nazonazo Benchmark 数据集, 应用在 语言模型评估、洞察力推理 领域

日本先进科学技术研究所 本次发布的数据集 Nazonazo Benchmark, Nazonazo Benchmark数据集由日本儿童谜语构建，旨在测试大型语言模型的基于洞察力的推理能力。该数据集包含120个谜语，每个谜语简短（大多数为一句话），无需专业知识，且易于大规模生成。数据集的创建过程包括从Nazonazo Gakuen网站收集谜语，并对模型进行评估。该数据集的应用领域是评估大型语言模型的洞察力推理能力，旨在解决当前大型语言模型评估危机的问题。

查看Nazonazo Benchmark

关于 日本先进科学技术研究所 , 日本先进科学技术研究所（JAIST）是一所位于日本的国立研究型大学，专注于科学和技术领域的教育和研究，特别是在信息科学、材料科学和生命科学等领域具有显著的研究成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。