HiTZ zentroa发布ConceptualCaptions_eu数据集,应用在视觉-语言模型、机器翻译领域

HiTZ zentroa本次发布的数据集ConceptualCaptions_eu,CC3M-eu 是 Conceptual Captions 3M 数据集的一个巴斯克语版本，包含约 330 万对图像-描述数据，其中原始英文描述已通过专门的翻译流程 mt-hitz-en/eu 翻译为巴斯克语。该数据集旨在促进巴斯克语的视觉-语言模型（VLMs）和 CLIP 风格编码器的训练。数据集结构包括：唯一标识符（id）、原始图像 URL（url）、原始英文描述（caption_en）和生成的巴斯克语翻译（caption_eu）。需要注意的是，此版本并非官方数据集，而是一个独立的社区翻译项目。数据集可能存在翻译过程中的语义漂移、原始英文数据或神经机器翻译模型中的社会偏见，以及图像链接失效等问题。

查看ConceptualCaptions_eu

关于HiTZ zentroa,HiTZ zentroa是一家专注于人工智能和自然语言处理的研究机构。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。