北京科学研究院 发布 SciAssess 数据集, 应用在 科学文献分析、大型语言模型评估 领域

北京科学研究院 本次发布的数据集 SciAssess, SciAssess是一个专为科学文献深度分析设计的基准数据集，旨在全面评估大型语言模型（LLMs）在科学文献分析中的效能。该数据集涵盖了多个科学领域，如普通化学、有机材料和合金材料，并通过严格的质量控制确保数据的正确性、匿名性和版权合规性。SciAssess评估了包括GPT-4、GPT-3.5和Gemini在内的领先LLMs，识别它们的优势和改进领域，支持LLMs在科学文献分析中的持续发展。此数据集的应用领域包括文献总结、知识提取等，旨在提高研究效率，拓宽可综合和利用的文献范围，最终加速科学发现和创新。

查看SciAssess

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。