中国科学院大学 发布 ChiMed 2.0 数据集, 应用在 中文医疗数据、自然语言处理 领域

中国科学院大学 本次发布的数据集 ChiMed 2.0, ChiMed 2.0 是一个大规模的中文医疗数据集，涵盖了从预训练到监督微调再到强化学习从人类反馈（RLHF）的全过程。该数据集包含了 2.044 亿中文字符，包括传统中医药经典和现代一般医疗数据，其中包含 16.48 万份文档用于预训练，35.16 万个问答对用于监督微调（SFT），以及 4.17 万个偏好数据元组用于 RLHF。数据集的创建过程包括从多个权威和高流量的网站收集数据，以及进行多阶段的数据处理，包括去重、噪声过滤、敏感内容筛查、自动古代到现代的翻译、问答对生成和偏好数据构建。ChiMed 2.0 数据集旨在解决现有中文医疗语料库规模有限、领域覆盖面窄、缺乏多样化语料等问题，支持医疗领域的大语言模型训练，以及下游医疗 NLP 任务，如诊断辅助、临床决策支持和问答系统。

查看ChiMed 2.0

关于 中国科学院大学 , 中国科学院大学（简称国科大）是中国科学院直属的高等教育机构，前身为中国科学院研究生院，成立于1978年。学校以培养高层次科技人才为主要任务，拥有丰富的科研资源和强大的师资力量，致力于推动科技创新和科学研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。