清华大学 发布 ZeroFlow 数据集, 应用在 无梯度优化、持续学习 领域

清华大学 本次发布的数据集 ZeroFlow, ZeroFlow是由清华大学和阿里巴巴达摩院联合提出的首个用于评估无梯度优化算法在克服灾难性遗忘方面的基准测试集。该数据集涵盖了多种遗忘场景、模型类型和评估指标，旨在通过前向传播方法探索如何在不依赖梯度信息的情况下缓解灾难性遗忘问题。数据集的内容包括多个任务序列和复杂度的数据集，如CIFAR-100、CUB、ImageNet-A和OmniBenchmark等。通过该基准测试，研究人员揭示了前向传播在管理任务冲突、减少内存需求以及缓解遗忘方面的潜力，并提出了新的优化原则和改进技术。ZeroFlow的应用领域主要集中在持续学习和预训练模型的微调中，旨在解决模型在时间演化数据流中遗忘先前学习任务的问题。

查看ZeroFlow

关于 清华大学 , 清华大学是中国著名的高等学府，位于北京市。作为中国顶尖的综合性大学之一，清华大学在工程、科学、管理、人文和社会科学等多个领域都有卓越的学术成就和影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。