Yale NLP Lab 发布 MMVU 数据集, 应用在 多学科视频理解、专家推理评估 领域

Yale NLP Lab 本次发布的数据集 MMVU, MMVU数据集旨在评估专家级别的多学科视频理解能力。该数据集包含3000个专家标注的问答示例，涵盖了1529个专业领域的视频，涉及27个学科和四个主要领域（科学、医疗保健、人文与社会科学、工程）。每个示例都附有专家标注的推理理由和相关领域知识，旨在评估模型的答案正确性和推理质量。数据集的设计反映了现实世界专业领域的复杂性，确保了对领域知识的广度和推理深度的评估。

查看MMVU

Dataset card 内容： 

Files and versions 内容： 

关于 Yale NLP Lab , Yale NLP Lab是耶鲁大学的一个自然语言处理实验室，专注于研究和发展自然语言处理技术，致力于推动该领域的前沿研究与应用。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。