浙江大学 发布 SciCUEval 数据集, 应用在 科学领域、语言模型评估 领域

浙江大学 本次发布的数据集 SciCUEval, SciCUEval是一个全面的数据集，旨在评估大型语言模型在科学领域中的上下文理解能力。该数据集包含十个领域特定的子数据集，涵盖了生物学、化学、物理学、生物医学和材料科学等领域，整合了包括结构化表格、知识图谱和非结构化文本等多种数据模态。SciCUEval通过多种问题格式系统地评估了四个核心能力：相关信息识别、信息缺失检测、多源信息整合和上下文感知推理。数据集从高质量的科学来源收集数据，并使用先进的技术进行生成和验证，以确保数据的准确性和可靠性。SciCUEval旨在解决现有科学领域评估数据集的局限性，为大型语言模型在科学领域中的应用提供有力支持。

查看SciCUEval

关于 浙江大学 , 浙江大学是中国一所历史悠久、学科全面、科研实力雄厚的顶尖综合性大学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。