上海人工智能实验室 发布 ExpVid 数据集, 应用在 多模态学习、科学实验理解 领域

上海人工智能实验室 本次发布的数据集 ExpVid, ExpVid是一个针对科学实验视频理解和推理的基准数据集，它涵盖了13个学科，主要关注湿实验室实验，例如生物学、化学和医学。数据集来源于JoVE（Journal of Visualized Experiments）的多学科、同行评审视频研究部分，通过自动语音识别（ASR）转录和相应的论文进行标注。ExpVid数据集包括约7800个问题-答案对，390个视频，平均视频长度为489秒。数据集构建了一个三级任务层次结构，分别对应于操作感知、过程理解和科学推理。通过自动化生成和多学科专家验证，确保了任务的视觉基础和领域真实性。ExpVid旨在评估多模态大型语言模型（MLLMs）在理解和推理真实实验室实验视频方面的能力，为发展能够感知、验证和推理真实实验的可靠助手或代理提供路线图。

查看ExpVid

关于 上海人工智能实验室 , 上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造“突破型、引领型、平台型”一体化的大型综合性研究基地，支撑我国人工智能产业实现跨越式发展，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。