西北大学 发布 GERM 数据集, 应用在 基因组建模、计算资源优化 领域

西北大学 本次发布的数据集 GERM, GERM是一个具有强大压缩性能和快速适应性的基因组基础模型，旨在解决计算资源稀缺的挑战。该模型通过消除影响低秩适应和后训练量化的异常值来提高效率和鲁棒性。通过在预训练和微调过程中去除异常值，GERM加快了适应速度，降低了计算成本，并增强了量化鲁棒性。此外，GERM-T策略在异常值免费框架内采用小步持续学习，利用原始检查点避免从头开始重新训练。实验结果表明，GERM在微调方面比基线模型提高了37.98%，在量化方面提高了64.34%，平均峰度降低了92.14%，最大无穷范数降低了82.77%。与领先的方法相比，GERM始终提供卓越的性能，为资源受限环境中的基因组建模提供了一个实用的解决方案。

查看GERM

README 内容： 

关于 西北大学 , 美国西北大学是一所位于伊利诺伊州芝加哥市郊的私立研究型大学，以其卓越的学术研究和教育质量闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。