加州大学欧文分校 发布 TurtleBench 数据集, 应用在 几何推理、代码生成 领域

加州大学欧文分校 本次发布的数据集 TurtleBench, TurtleBench是一个专为评估大型多模态模型（LMMs）在几何图案理解和代码生成能力而设计的数据集。该数据集由加州大学欧文分校的研究团队创建，包含260个任务，涵盖了从简单的几何形状到复杂的图案生成。数据集的任务设计灵感来自海龟几何，旨在通过视觉和文本输入来测试模型生成精确代码的能力。创建过程中，研究团队手动设计了这些任务，确保每个任务都能准确无误地解决。TurtleBench的应用领域主要集中在教育、编程教学和人工智能模型的几何推理能力评估，旨在解决当前LMMs在直观视觉几何理解上的不足。

查看TurtleBench

README 内容： 

关于 加州大学欧文分校 , 加州大学欧文分校（University of California, Irvine，简称UCI）是美国加州大学系统中的一所公立研究型大学，位于加利福尼亚州的欧文市。UCI成立于1965年，以其卓越的科研和创新能力著称，尤其在生物医学、工程、社会科学和信息学等领域表现突出。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。