Deep Cognition and Language Research (DeCLaRe) Lab 发布 puzzlevqa 数据集, 应用在 多模态模型、抽象图案理解 领域

Deep Cognition and Language Research (DeCLaRe) Lab 本次发布的数据集 puzzlevqa, PuzzleVQA数据集是一个包含抽象图案的谜题集合，旨在评估大型多模态模型在基本概念（如颜色、数字、大小和形状）上的抽象图案理解能力。数据集包括图像、类别、问题、选项、答案、描述、解释和推导等特征。通过实验发现，即使是GPT-4V也无法解决超过一半的谜题，主要瓶颈在于较弱的视觉感知和归纳推理能力。数据集通过提供逐步的推理解释来指导模型，以诊断推理挑战。此外，数据集还设计了单概念和双概念谜题，以增强多样性。

查看puzzlevqa

Dataset card 内容： 

Files and versions 内容： 

关于 Deep Cognition and Language Research (DeCLaRe) Lab , Deep Cognition and Language Research (DeCLaRe) Lab是一个专注于深度认知和语言领域研究的实验室，致力于探索人工智能在自然语言处理与深度学习方面的前沿技术。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。