Reality Labs 发布 EgoToM 数据集, 应用在 心理理论、视频问答 领域

Reality Labs 本次发布的数据集 EgoToM, EgoToM是一个新的视频问答基准，旨在将心理理论（ToM）评估扩展到第一人称视角领域。该数据集使用因果ToM模型生成多选视频问答实例，以预测摄像机佩戴者的目标、信念和后续行动。数据集基于Ego4D数据集构建，包含超过1000个问题，覆盖了785个独特的视频片段。这些问题评估模型对摄像机佩戴者目标、信念和未来行动的连贯理解。EgoToM的创建过程包括视频选择、问答生成和质量检查等多个步骤，旨在为智能第一人称视角助手提供准确的用户推理和预测能力评估。

查看EgoToM

README 内容： 

关于 Reality Labs , 现实实验室是脸书旗下的一个研究部门，专注于虚拟现实（VR）、增强现实（AR）和其他相关技术的开发。该实验室致力于推动下一代计算平台的发展，旨在改变人们与数字世界的互动方式。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。