LiAuto-DSR 发布 GeoGramBench 数据集, 应用在 几何推理、自然语言处理 领域

LiAuto-DSR 本次发布的数据集 GeoGramBench, 该数据集是一个由500个精心提炼的问题组成的基准，这些问题按照一个定制的三级分类法组织，该分类法考虑了几何复杂性，以评估大型语言模型在几何空间推理方面的能力。GeoGramBench旨在评估大型语言模型在将程序化绘图代码转换为精确几何推理方面的表现，从而凸显模型能力的不足。该数据集的规模为500个问题，所涉及的任务是程序到几何的任务。

查看GeoGramBench

README 内容： 

关于 LiAuto-DSR , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。