新加坡国立大学 发布 CS-54k 数据集, 应用在 计算机科学、问答系统 领域

新加坡国立大学 本次发布的数据集 CS-54k, CS-54k是一个高质量的计算机科学领域问答对语料库，由14,474篇CC许可的论文构建而成。该语料库通过一个可扩展的、基于论文的流水线构建，结合了检索增强生成（RAG）和多阶段质量控制，以确保所有问答对都基于真实的科学背景。从统一的语料库中，我们通过仔细采样和筛选，衍生出两个互补的子集：CS-4k，用于严格的评估；CS-50k，用于大规模训练。CS-4k允许对模型在整个研究流程中辅助科学研究的全部能力进行全面和真实的评估。CS-50k解决了领域相关数据稀缺的问题，为系统性地微调真实的科学研究任务提供了广泛而可靠的监督。该数据集旨在促进AI系统成为计算机科学研究中的可靠合作伙伴。

查看CS-54k

README 内容： 

关于 新加坡国立大学 , 新加坡国立大学是一所位于新加坡的公立研究型大学，以其卓越的学术研究和教育质量在国际上享有盛誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。