洛桑联邦理工学院 发布 EPFL-Smart-Kitchen-30 数据集, 应用在 人类行为理解、多模态数据处理 领域

洛桑联邦理工学院 本次发布的数据集 EPFL-Smart-Kitchen-30, EPFL-Smart-Kitchen-30数据集是一个包含密集标注的烹饪行为数据集，由洛桑联邦理工学院（EPFL）收集。该数据集在厨房环境中使用非侵入性运动捕捉平台，通过九个静态RGB-D摄像头、惯性测量单元（IMU）和一个头戴式HoloLens 2耳机捕捉了3D手、身体和眼球运动。该数据集是一个多视图动作数据集，具有同步的外心、内心、深度、IMU、眼球注视、身体和手动力学，涵盖了16名受试者烹饪四种不同食谱的29.7小时。动作序列被密集地标注，每分钟有33.78个动作段。利用这个多模态数据集，我们提出了四个基准，以通过1）视觉语言基准、2）语义文本到运动生成基准、3）多模态动作识别基准、4）基于姿态的动作分割基准，来推动行为理解和建模。我们期望EPFL-Smart-Kitchen-30数据集为更好的方法以及理解生态有效的自然人类行为本质的见解铺平道路。

查看EPFL-Smart-Kitchen-30

关于 洛桑联邦理工学院 , 洛桑联邦理工学院（École Polytechnique Fédérale de Lausanne，简称EPFL）是一所世界顶尖的工程和科学大学，位于瑞士洛桑。它是瑞士的两所联邦理工学院之一，另一所是苏黎世联邦理工学院。洛桑联邦理工学院以其在物理学、材料科学、计算机科学和生物工程等领域的创新研究和卓越教育而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。