Unknown 发布 Gemma-2-2b-it 数据集, 应用在 自然语言处理、注意力机制 领域

Unknown 本次发布的数据集 Gemma-2-2b-it, 该数据集基于Gemma-2-2b-it模型的一个参考特征集，旨在对各种概念执行可扩展的注意力模块发现（SAMD）。它包含了语义上不同的代表性概念，如简单名词、专有名词、动词以及互动语言等。该数据集大约为每个所选的4个概念提供了大约100个提示。其任务是发现并干预变压器模型中不同概念的注意力模块。

查看Gemma-2-2b-it

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。