GitHub 发布 Reddit Conversation Corpus 数据集, 应用在 对话系统、自然语言处理 领域

GitHub 本次发布的数据集 Reddit Conversation Corpus, 该数据集是一个高质量的三轮对话数据集，旨在用于主题感知的响应生成。数据集中的主题标签和词汇均由LDA预测得出，这使得从其他来源获取带标签的文本数据颇具挑战性。该数据集规模宏大，包含920万个样本；其中，作为标记对话语料库，我们抽取了300万个（历史对话、主题、目标）的三元组。该数据集的任务是进行主题感知的响应生成。

查看Reddit Conversation Corpus

README 内容： 

关于 GitHub , GitHub 是一个全球性的代码托管平台，用于版本控制和协作，让开发者和项目团队能够更好地一起工作。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。