发布 Chatbot Conversations Corpus 数据集, 应用在 自然语言处理、聊天机器人 领域

本次发布的数据集 Chatbot Conversations Corpus, 该数据集是一组用于评估对话环境中分词器性能的聊天机器人对话语料库。它是一个多语言数据集，其中语言的分布影响着分词的减少程度。分析显示，在该数据集中表现良好的语言，能更多地从针对对话优化的分词器中受益。任务是对聊天机器人对话中的分词器性能进行评估。

查看Chatbot Conversations Corpus

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。