发布 Code-Vision 数据集, 应用在 编程自动化、算法评估 领域

本次发布的数据集 Code-Vision, 该数据集旨在评估多模态大型语言模型（MLLMs）的逻辑理解和代码生成能力，通过根据给定的流程图生成程序来进行基准测试。该数据集不仅覆盖了基本的编程领域，还挑战了MLLMs在算法和数学问题解决方面的能力。数据集分为三个子集：HumanEval-V、Algorithm和MATH，主要任务是基于流程图表示进行代码生成。

查看Code-Vision

README 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。