西安交通大学 发布 PhysReason 数据集, 应用在 物理推理、自然语言处理 领域

西安交通大学 本次发布的数据集 PhysReason, PhysReason是一个包含1200个问题的综合基准数据集，由西安交通大学创建，旨在评估大型语言模型在物理推理方面的能力。该数据集涵盖了25%的知识性问题（基于知识）和75%的推理性问题（基于推理），推理性问题进一步分为容易、中等和困难三个层次。PhysReason的问题平均需要8.1个解决步骤，困难问题需要多达15.6个步骤，超过了现有的物理基准数据集。数据集的多模态设计使其81%的问题包含图表，以评估模型在理解和应用视觉和文本信息方面的能力。

查看PhysReason

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。