GITQA是香港科技大学和南方科技大学,通过将图结构绘制为不同风格的视觉图像,构建的首个包含视觉图的推理问答数据集,该数据集包含超过423K个问答实例,每个实例包含相互对应的图结构-文本-视觉信息及其相应的问答对。数据集包含两个版本:GITQA-Base和GITQA-Aug,其中GITQA-Base只包含单一风格的视觉图。GITQA-Aug则更加丰富,它对视觉图进行了多种数据增强处理,包括改变布局、点的形状、边的宽度和点的风格等,从而提供了更多样化的视觉图表现。该数据集可用于评估基于文字描述的LLM和基于多模态的MLLM在图推理任务上的性能,并研究视觉信息对图推理的影响。





_1769672084863.jpg)