卡尔斯鲁厄理工学院 发布 SciEx 数据集, 应用在 科学考试、人工智能评估 领域

卡尔斯鲁厄理工学院 本次发布的数据集 SciEx, SciEx是由卡尔斯鲁厄理工学院创建的多语言、多模态科学考试基准数据集，包含154个大学计算机科学考试问题，涵盖英语和德语。数据集通过收集不同计算机科学课程的考试题目构建，包括自然语言处理、人工智能等领域的考试。创建过程涉及专家对LLM输出的评估，以及自动评分机制的开发。SciEx旨在评估大型语言模型在解决科学任务上的能力，特别是在自由形式问题上的表现，为未来LLM的评估提供了一个可靠的基准。

查看SciEx

Dataset card 内容： 

Files and versions 内容： 

关于 卡尔斯鲁厄理工学院 , 卡尔斯鲁厄理工学院（Karlsruher Institut für Technologie, KIT）是德国顶尖的理工科大学之一，集科研、教育和创新于一体，致力于在工程学、自然科学和经济学等领域提供卓越的教育和研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。