Mesolitica 发布 Malaysian-SFT 数据集, 应用在 自然语言处理、多语言数据集 领域

Mesolitica 本次发布的数据集 Malaysian-SFT, Malaysian SFT数据集包含了来自多个子数据集的样本，涵盖了从一般问答、社交媒体问答、非土著问答、谚语指令、翻译、合成爪夷文对话、爪夷文代码指令、代码指令、超长对话、方言指令、方言词典指令、混合模型、主动被动句、小规模马来语问答、人物角色、NSFW拒绝响应、政治人物汉萨德风格等多个领域。数据集经过简单的后处理，包括字符级和词级去重、去除包含俄文字符和特定奇怪字符及反向关键词的样本。部分数据集需要特定的后处理，具体细节可在源代码中查看。

查看Malaysian-SFT

Dataset card 内容： 

Files and versions 内容： 

关于 Mesolitica , Mesolitica 是东南亚人工智能领域的开发者，专注于聊天机器人、语音技术以及先进的多语言语言模型。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。