卡内基梅隆大学 发布 ProMQA 数据集, 应用在 多模态问答、程序活动理解 领域

卡内基梅隆大学 本次发布的数据集 ProMQA, ProMQA是由卡内基梅隆大学和国家先进工业科学技术研究所创建的多模态问答数据集，旨在评估系统在多模态程序活动理解中的能力。该数据集包含401对多模态程序问答对，结合了用户记录的程序活动视频及其相应的指令。数据集的创建采用了人机协作的方法，利用LLM生成问答对，并由人工进行验证，确保数据质量。ProMQA主要应用于评估和提升多模态系统在实际应用场景中的理解能力，特别是在烹饪、组装和手术等程序性活动中。

查看ProMQA

README 内容： 

关于 卡内基梅隆大学 , 卡内基梅隆大学（Carnegie Mellon University，简称CMU）是一所位于美国宾夕法尼亚州匹兹堡的私立研究型大学，以其计算机科学、工程学、艺术和商学等领域的卓越教育与研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。