Northeastern University Programming Research Lab 发布 verbal-reasoning-challenge 数据集, 应用在 语言模型评估、逻辑推理 领域

Northeastern University Programming Research Lab 本次发布的数据集 verbal-reasoning-challenge, 语言推理挑战数据集是一个旨在评估大型语言模型推理能力的数据库。它基于美国NPR周日谜题挑战中的“非直播挑战”，这些挑战旨在被任何美国成年人理解。该基准测试的任务与代码和数学分布不同，用于评估语言推理技能，包括逻辑推理、搜索和一般知识。

查看verbal-reasoning-challenge

Dataset card 内容： 

Files and versions 内容： 

关于 Northeastern University Programming Research Lab , Northeastern University Programming Research Lab是东北大学旗下的编程研究室，专注于编程语言、软件工程和计算机系统领域的研究。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。