中国科学院自动化研究所 发布 Spiking Transformer Evaluation Platform (STEP) 数据集, 应用在 神经网络评估、SpikingTransformers 领域

中国科学院自动化研究所 本次发布的数据集 Spiking Transformer Evaluation Platform (STEP), STEP是一个统一的基准框架，用于评估Spiking Transformers，支持广泛的任务，包括分类、分割和检测，适用于静态、基于事件和序列数据集。它提供了模块化支持，包括脉冲神经元、输入编码、代理梯度和多个后端。通过STEP，我们重现和评估了几个代表性的模型，并对注意力设计、神经元类型、编码方案和时序建模能力进行了系统性的消融研究。我们提出了一个统一的能量估计分析模型，考虑了脉冲稀疏性、位宽和内存访问，并表明量化的ANNs可能提供可比或更好的能量效率。我们的结果表明，当前的Spiking Transformers严重依赖于卷积前端，缺乏强大的时序建模，这突出了对脉冲本机架构创新的需求。

查看Spiking Transformer Evaluation Platform (STEP)

README 内容： 

关于 中国科学院自动化研究所 , 中国科学院自动化研究所是中国科学院直属科研机构，主要从事自动化科学理论与技术的应用基础研究、战略高技术研究、成果转化与产业化。脑认知实验室是该所下属的一个实验室，专注于脑认知领域的研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。