香港科技大学（广州） 发布 MIXTURE 数据集, 应用在 指令微调、数据增强 领域

香港科技大学（广州） 本次发布的数据集 MIXTURE, MIXTURE是一个基于维基百科的指令蒸馏数据集，包含约144,884个样本，跨越五个任务类型，提供从多个低质量输入到单个高质量输出的层次映射。数据集创建过程包括从维基百科收集原始数据，生成高、低质量数据对，并通过LLM评分、多变种退化、跨主题融合和噪声注入等方式构建数据集。该数据集旨在解决低质量数据在指令微调中的有效利用问题，通过蒸馏和增强低质量数据，提高指令微调LLMs的效率和性能。

查看MIXTURE

Dataset card 内容： 

Files and versions 内容： 

关于 香港科技大学（广州） , 香港科技大学（广州）是香港科技大学在广州设立的分校，致力于提供高质量的教育和研究，特别是在科技和工程领域，培养国际化人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。