华南理工大学 发布 S2SBench 数据集, 应用在 语音识别、自然语言处理 领域

华南理工大学 本次发布的数据集 S2SBench, S2SBench是一个用于量化语音到语音大型语言模型中智能退化程度的数据集。该数据集由华南理工大学和百川智能合作构建，旨在评估模型在音频输入下的推理和生成能力。数据集包含针对句子续写和常识推理的诊断数据集，并引入了一种基于困惑度差异的成对评估协议，以衡量相对于文本输入的退化程度。通过在Baichuan-Audio模型上的应用，S2SBench证明了其有效性。

查看S2SBench

README 内容： 

关于 华南理工大学 , 华南理工大学位于广东省广州市，是中华人民共和国教育部直属的全国重点大学，同时也是国家“211工程”和“985工程”重点建设高校之一。学校拥有完整的学科体系，在工程技术等领域有较强的研究实力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。