伊利诺伊大学厄巴纳-香槟分校 发布 MergeBench 数据集, 应用在 模型评估、自然语言处理 领域

伊利诺伊大学厄巴纳-香槟分校 本次发布的数据集 MergeBench, MergeBench是一个全面的评估套件，旨在评估模型合并的性能。它基于最先进的开源语言模型，包括2B到9B规模的Llama和Gemma系列，涵盖了五个关键领域：指令遵循、数学、多语言理解、编码和安全。MergeBench标准化了微调和评估协议，并评估了八个代表性合并方法在多任务性能、遗忘和运行时效率方面的表现。

查看MergeBench

README 内容： 

关于 伊利诺伊大学厄巴纳-香槟分校 , 伊利诺伊大学厄巴纳-香槟分校（UIUC）是美国顶尖的公立研究型大学，位于伊利诺伊州的厄巴纳和香槟市。该校在工程、计算机科学、商学等领域享有盛誉，拥有众多诺贝尔奖得主和图灵奖得主。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。