南洋理工大学 发布 DocTalk 数据集, 应用在 自然语言处理、会话AI 领域

南洋理工大学 本次发布的数据集 DocTalk, DocTalk是一个多轮预训练对话语料库，包含超过730k长的对话，由南洋理工大学和亚马逊的研究人员创建。该数据集通过将多个相关文档转换为一个扩展的多轮、多主题信息寻求对话来合成会话数据。数据集的大小为730,707个对话，每个对话平均包含82.2个轮次，其中助手的话语平均长度为87.3个单词，用户的话语平均长度为26.5个单词。数据集创建过程分为三个阶段：文档图构建、对话图构建和用户话语生成。DocTalk旨在解决大型语言模型在多轮对话任务中的能力与训练范式之间的潜在不匹配问题，通过在预训练期间接触合成对话结构来增强LLM的基本多轮能力，如上下文记忆和理解。DocTalk适用于会话AI助手，以提供动态和自然的对话，并解决现实世界交互中的多轮、多主题对话需求。

查看DocTalk

Dataset card 内容： 

Files and versions 内容： 

关于 南洋理工大学 , 南洋理工大学，简称南洋理工，是新加坡的一所综合性研究型大学，以工程和商业学科闻名，在全球享有很高的声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。