ellamind发布arc-multilingual数据集,应用在多语言问答、机器翻译领域

ellamind本次发布的数据集arc-multilingual,该数据集包含德语(deu)和法语(fra)两个语言版本的问答数据，主要用于多语言问答任务研究。数据集包含3454个德语样本和100个法语样本，均仅包含测试集。每个样本包含以下核心字段：问题文本(question)、选项列表(choices)、正确答案键(answer_key)以及唯一标识符(id)。此外，数据集还包含丰富的元数据：原始问题ID(original_id)、目标语言(target_language)、翻译置信度(translation_confidence)、翻译备注(translation_notes)、格式保留标记(preserves_formatting)等质量控制信息。特别设计了审核机制(flag_for_review/review_reason)和内容适配标记(required_adaptation/adaptation_notes)，表明数据集经过严格的翻译后处理流程。数据来源标注了基准来源(benchmark)和ARC配置(arc_config)，适用于跨语言问答系统开发和机器翻译质量评估等场景。

查看arc-multilingual

关于ellamind,ellamind是一家专注于人工智能技术研发与应用的公司，致力于推动AI在教育、医疗、金融等多个领域的创新发展和实践应用。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。