FPT University 发布 SLM-Bench 数据集, 应用在 自然语言处理、模型评估 领域

FPT University 本次发布的数据集 SLM-Bench, SLM-Bench是一个全面的基准测试框架，专门用于评估小型语言模型（SLM）的多个维度，包括准确率、计算效率和可持续性指标。该框架评估了15个SLM在9个自然语言处理（NLP）任务上的表现，使用了涵盖14个领域的23个数据集，并在4种硬件配置上进行评估。评估包括11个指标，涵盖正确性、计算和消耗等方面，以实现对效率权衡的全面评估。

查看SLM-Bench

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。