随着视频AI技术在智慧城市、工业仓储、智慧楼宇等场景的规模化落地，固定基础设施摄像头（含交通卡口、园区安防、仓储监控等终端）产生的海量视频数据的智能分析需求持续攀升，但长期以来，行业缺乏针对固定摄像头视角的标准化视觉理解评估基准，不同厂商的算法性能难以实现横向对比，算法在实验室环境与真实落地场景的表现偏差问题长期存在，制约了视频AI技术的商业化落地效率。
2026年5月7日，NVIDIA在HuggingFace平台正式首发PhysicalAI-VANTAGE-Bench公开基准数据集，这也是全球首个专门用于评估固定基础设施摄像头捕获视频的视觉理解能力的公开基准，将主要应用于视频理解评估、时空视频分析领域的算法评测工作。
据官方披露，本次发布的VANTAGE-Bench数据集覆盖三大真实落地场景：仓储物流场景、智慧城市/智能交通（ITS）场景、智能空间场景，共涉及六大核心时空视频理解任务，分别为视频问答（VQA）、时间定位、密集视频字幕生成、事件验证、空间定位和时空跟踪，基本覆盖了当前固定摄像头视频分析的主流需求。针对不同场景的特性，该数据集可支撑的算法评测可对应多个落地应用方向：在仓储场景可用于货物合规堆放检测、人员操作行为识别、物流动线优化的算法验证；在智能交通场景可支撑交通事件预警、车流调度算法、违章行为自动识别的效果评估；在智能空间场景则可助力客流统计、异常事件预警、公共空间动线规划等算法的性能校准。目前该数据集仅开放评估用途。
为保障数据集的场景覆盖全面性与标注准确性，VANTAGE-Bench采用混合采集与混合标注的搭建方案。数据采集端整合了三类来源：一是人工采集的真实场景素材，包括供应商提供的仓库、智能空间环境下的GoPro拍摄素材，公开爬取的Dubuque高速公路ITS素材；二是合成生成的极端场景数据，通过DriveSim生成交通碰撞、多摄像头联动等真实场景下难获取的样本，补全了小概率风险事件的评估维度；三是自动化采集的常规场景素材，保障了日常场景的样本丰富度。标注环节则结合了人工标注、合成标注与伪标注三种方式：VQA、密集视频字幕、时间定位等语义类标注以人工标注为主保障准确性；空间定位类标注（含2D/3D边界框、指代表达）采用人工标注加“检测+SAM空间指向”的伪标注流程兼顾效率与精度；事件验证类标签则全部由人工整理完成。
目前该数据集总存储量为42GB，包含mp4格式视频与jpg格式图像两类资源，覆盖八大细分评测维度的量化数据包括：VQA任务覆盖296个视频、1257个条目，事件验证覆盖163个视频、163个条目，密集视频字幕生成覆盖104个视频、717个条目，时间定位覆盖221个视频、1280个条目，2D对象定位覆盖3个视频、27404个边界框、628帧，2D指代表达覆盖1503张图像、3276个表达，2D空间指向覆盖1005个视频、5018张图像，时空跟踪覆盖200个剪辑（每个剪辑8帧、200个对象，共1600帧）。为保障评测公平性，避免标注数据泄露导致的算法过拟合问题，该数据集的所有评估均在服务器端进行，真实标注未对外公开发布，部分仓库视频为较长录制会话的拼接剪辑。
作为AI产业的核心基础设施，高质量的基准数据集是技术迭代与落地的核心支撑，本次NVIDIA发布的VANTAGE-Bench填补了固定设施摄像头视觉理解评估领域的空白，将为全球AI厂商、科研机构提供标准化的算法评测工具，降低视频AI方案的落地测试成本，加速多场景视频智能分析的规模化应用，进一步推动数字经济下的城市治理、工业数字化、空间智能化的发展进程。
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)