哈尔滨工业大学 发布 VSR Expert (VSRE) 数据集, 应用在 视觉空间推理、视觉大语言模型 领域

哈尔滨工业大学 本次发布的数据集 VSR Expert (VSRE), VSR Expert（VSRE）数据集由哈尔滨工业大学和360搜索部门的研究团队创建，旨在提升视觉大语言模型（VLLM）在视觉空间推理（VSR）任务中的表现。该数据集包含超过10,000个自然图像-文本对，涵盖了66种空间关系，数据来源于MSCOCO数据集，并通过对比性标题生成和人工验证确保数据质量。数据集通过扩散模型生成图像数据，并结合多种视觉编码器（如CLIP、SigLIP、SAM和DINO），增强了模型对视觉位置信息的感知能力。该数据集的应用领域主要集中在视觉空间推理任务中，旨在解决VLLM在视觉位置信息识别和指令跟随中的不一致性和幻觉问题。

查看VSR Expert (VSRE)

README 内容： 

关于 哈尔滨工业大学 , 哈尔滨工业大学是中国著名的理工科大学，位于黑龙江省哈尔滨市，创建于1920年。该校以工程学科著称，是中国‘双一流’建设高校之一，培养了大量工程技术人才，并在航空航天、机器人、材料科学等领域有显著的研究成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。