IBM 发布 acp_bench 数据集, 应用在 大型语言模型、推理能力 领域

IBM 本次发布的数据集 acp_bench, ACP Bench是一个用于评估大型语言模型（LLMs）在动作、变化和规划方面的推理能力的数据集。该数据集包含7个推理任务，涵盖13个领域，其中包括11个经典规划领域、ALFWorld和一个新的Swap领域。这些任务包括动作适用性（app）、进展（prog）、原子可达性（reach）、验证（val）、动作可达性（areach）、合理性（just）和地标（land）。ACP Bench的开发集和测试集可以在GitHub仓库和Hugging Face数据集中下载。

查看acp_bench

Dataset card 内容： 

Files and versions 内容： 

关于 IBM , IBM，国际商业机器公司，全球信息技术领导者。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。