发布 LLaMA Models Performance Comparison 数据集, 应用在 模型性能评估、优化技术 领域

本次发布的数据集 LLaMA Models Performance Comparison, 该数据集对比了优化后的4位组量化核（Q4_0_8_8和Q4_0_4_8）与LLaMA.cpp的4位核（Q4_0）在推理吞吐量和准确度方面的性能指标。这一比较是通过使用困惑度（PPL）来衡量的。数据集还包括了不同批量大小下的吞吐量数据，以及带有高级MMLA操作与不带此操作的核之间的比较。此外，该数据集还涵盖了在多种处理器配置（Graviton2、Graviton3、Graviton4）上的性能测量。该任务的目的是比较优化核与LLaMA.cpp在推理吞吐量上的差异。

查看LLaMA Models Performance Comparison

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。