中国电信人工智能研究院（TeleAI） 发布 TELEVAL 数据集, 应用在 自然语言处理、语音识别 领域

中国电信人工智能研究院（TeleAI） 本次发布的数据集 TELEVAL, TELEVAL是一个为评估中文交互场景中口语模型（SLM）而设计的动态基准数据集。它包含三个评估维度：显式语义、副语言和隐式语义，以及系统能力。该数据集采用与实际使用一致的对话格式，并分别评估文本和音频输出。TELEVAL特别关注模型从用户语音中提取隐式线索并相应地作出反应的能力。实验表明，尽管SLM在自然对话任务中仍有很大改进空间，但TELEVAL可以作为以用户为中心的评价框架，直接反映用户体验，并有助于开发更强大的对话型SLM。

查看TELEVAL

README 内容： 

关于 中国电信人工智能研究院（TeleAI） , 中国电信人工智能研究院（TeleAI）是中国电信下属的研究机构，专注于人工智能领域的研究与应用，推动通信行业与人工智能技术的融合创新。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。