字节跳动公司 发布 Dataset Quantization 数据集, 应用在 数据集压缩、神经网络训练 领域

字节跳动公司 本次发布的数据集 Dataset Quantization, Dataset Quantization（DQ）是一个创新的数据集压缩框架，由字节跳动公司和新加坡国立大学联合开发。该框架旨在将大规模数据集压缩成小规模的子集，适用于训练任何神经网络架构。DQ通过递归地将数据集分割成多个非重叠的子集，并从每个子集中均匀采样，以最大化数据多样性和代表性。此方法特别适用于处理如ImageNet-1k这样的大型数据集，能够在不损失模型训练性能的情况下，实现高达40%的数据压缩。DQ的应用领域广泛，包括视觉任务（如分类、语义分割和目标检测）和语言任务（如指令调整任务），能够有效解决数据集过大导致计算资源有限的问题。

查看Dataset Quantization

README 内容： 

关于 字节跳动公司 , 字节跳动公司是一家全球领先的科技公司，主要业务包括社交媒体、短视频平台和人工智能技术。公司以其旗下的产品如抖音和今日头条而闻名，致力于通过创新技术为用户提供丰富多样的内容和便捷的服务。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。