Zoom视频通信 发布 CC-100 monolingual dataset 数据集, 应用在 多语言处理、机器翻译 领域

Zoom视频通信 本次发布的数据集 CC-100 monolingual dataset, CC-100单语数据集由Zoom视频通信公司创建，旨在通过利用英语为中心的大型语言模型和单语语料库，生成高质量、多样化的多语言指令微调数据集。数据集包含约500,000条指令-响应对，涵盖泰卢固语、印地语、日语和西班牙语。创建过程中，通过筛选高质量文本片段并利用评分函数确保数据质量。该数据集主要应用于提升大型语言模型在非英语环境下的理解和生成能力，特别是在多语言摘要和机器翻译任务中。

查看CC-100 monolingual dataset

Dataset card 内容： 

Files and versions 内容： 

关于 Zoom视频通信 , Zoom视频通信是一家提供视频会议、在线会议和协作服务的科技公司，总部位于美国加利福尼亚州。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。