上海米读科技有限公司 发布 MiChao-HuaFen 1.0 数据集, 应用在 预训练语料库、新闻与政府 领域

上海米读科技有限公司 本次发布的数据集 MiChao-HuaFen 1.0, MiChao-HuaFen 1.0是由上海米读科技有限公司和上海人工智能实验室共同创建的预训练语料库数据集，专注于新闻和政府领域。该数据集包含超过7000万条数据，源自2022年的公开互联网数据，经过多轮清洗和处理确保高质量和可靠来源。创建过程中采用了关键词过滤、图像提取、基于规则的过滤和格式转换等方法。该数据集主要用于支持中文垂直领域大型模型的预训练，推动深度学习研究和应用在相关领域的发展，特别适用于AI研究者、学者以及新闻机构和政府部门。

查看MiChao-HuaFen 1.0

关于 上海米读科技有限公司 , 上海米读科技有限公司是一家专注于人工智能技术研究和应用的公司，致力于推动人工智能技术在各个领域的创新和应用。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。