AI Singapore 发布 nlu-toxicity_detection 数据集, 应用在 多语言文本分析、有毒内容检测 领域

AI Singapore 本次发布的数据集 nlu-toxicity_detection, SEA Toxicity Detection数据集用于评估模型识别文本中的有毒内容（如仇恨言论和辱骂语言）的能力。数据集包含印尼语、泰语和越南语的样本，分别来自MLHSD、TTD和ViHSD。数据集被分为不同语言的子集，并包含少样本示例的额外分割。数据集的统计信息包括每个分割的示例数量、GPT-4o、Gemma 2和Llama 3的token数量。数据集的许可证信息也已提供。

查看nlu-toxicity_detection

Dataset card 内容： 

Files and versions 内容： 

关于 AI Singapore , AI Singapore是新加坡政府设立的国家人工智能项目办公室，负责推动国家的人工智能能力和创新，通过研发、人才培养和社区建设，以加速新加坡在AI领域的发展和实际应用。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。