北京邮电大学 发布 CS-Bench 数据集, 应用在 计算机科学评估、大型语言模型 领域

北京邮电大学 本次发布的数据集 CS-Bench, CS-Bench是首个专注于评估大型语言模型在计算机科学领域表现的双语（中英文）基准。该数据集包含约5000个精心筛选的测试样本，覆盖计算机科学的26个子领域，涉及多种任务形式和知识与推理的划分。CS-Bench不仅评估模型对计算机科学知识的掌握，还评估其应用这些知识进行推理的能力。此外，支持中英文双语评估，使得能够跨语言环境评价模型的性能。该数据集旨在解决当前大型语言模型在计算机科学领域评估不足的问题，推动模型在教育、工业和科学等领域的应用。

查看CS-Bench

README 内容： 

关于 北京邮电大学 , 北京邮电大学是中国的一所重点大学，主要专注于信息科技和通信工程领域的教育和研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。