AI Singapore 发布 cultural_evaluation-kalahi 数据集, 应用在 文化评估、语言模型 领域

AI Singapore 本次发布的数据集 cultural_evaluation-kalahi, Kalahi数据集旨在评估大型语言模型（LLMs）在生成与菲律宾文化相关的响应方面的能力，特别是在共享知识和伦理方面。该数据集包含一个与多项选择题（MCQ）兼容的版本，专门用于评估菲律宾文化的表示。数据集仅包含Tagalog（tl）语言的分割，共有150个样本，统计信息包括不同模型（GPT-4o、Gemma 2、Llama 3）的token数量。数据集的许可证为CC BY 4.0，适用于评估任务和SEA-HELM排行榜。

查看cultural_evaluation-kalahi

Dataset card 内容： 

Files and versions 内容： 

关于 AI Singapore , AI Singapore是新加坡政府设立的国家人工智能项目办公室，负责推动国家的人工智能能力和创新，通过研发、人才培养和社区建设，以加速新加坡在AI领域的发展和实际应用。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。