香港大学 发布 ScanAlign 数据集, 应用在 3D场景理解、视觉语言模型 领域

香港大学 本次发布的数据集 ScanAlign, ScanAlign数据集由上海人工智能实验室和香港大学的研究团队创建，旨在通过视频输入增强视觉语言模型（VLMs）对3D场景的理解能力。该数据集包含165,000条文本注释，涵盖了视频帧、鸟瞰图（BEV）图像以及空间-时间对象标记（STO标记）。数据集通过3D重建技术生成BEV图像，并结合视频帧和STO标记，帮助模型建立全局与局部信息之间的对应关系。ScanAlign数据集的应用领域主要集中在3D场景理解任务，如3D问答、密集描述和视觉定位，旨在解决现有VLMs在3D空间理解中的局限性。

查看ScanAlign

关于 香港大学 , 香港大学是香港历史最悠久的高等教育机构，成立于1911年。作为一所世界知名的研究型大学，它在多个学科领域内享有盛誉，包括医学、工程、法律及社会科学等。香港大学致力于提供高质量的教育和研究环境，培养具有国际视野的学术和行业领袖。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。