南洋理工大学 发布 Video Thinking Test (Video-TT) 数据集, 应用在 视频理解、自然语言处理 领域

南洋理工大学 本次发布的数据集 Video Thinking Test (Video-TT), Video Thinking Test (Video-TT) 是一个用于评估视频LLMs在理解视频方面的正确性和鲁棒性的基准数据集。它由1000个YouTube Shorts视频组成，每个视频都有一个开放式问题和四个相关的对抗性问题，这些问题基于八个视觉或叙事复杂性因素。该数据集旨在确保任何模型响应中的错误都是由于模型缺乏理解，而不是因为选择关键帧的错误。

查看Video Thinking Test (Video-TT)

关于 南洋理工大学 , 南洋理工大学是新加坡的一所综合性研究型大学，以其在工程、商业、科学、人文和社会科学等领域的教育和研究成果而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。