德国人工智能研究中心（DFKI） 发布 AI Language Proficiency Monitor 数据集, 应用在 自然语言处理、人工智能评估 领域

德国人工智能研究中心（DFKI） 本次发布的数据集 AI Language Proficiency Monitor, AI Language Proficiency Monitor是一个全面的跨语言基准，系统地评估了LLM在多达200种语言上的性能，特别关注低资源语言。该基准聚合了包括翻译、问答、数学和推理在内的多样化任务，使用了FLORES+、MMLU、GSM8K、TruthfulQA和ARC等数据集。我们提供了一个开源的自动更新排行榜和仪表板，以支持研究人员、开发人员和政策制定者识别模型性能的强项和差距。除了对模型进行排名，该平台还提供了描述性见解，如全球能力图和随时间推移的趋势。通过补充和扩展先前的多语言基准，我们的工作旨在促进多语言人工智能的透明度、包容性和进步。该系统可在https://huggingface.co/spaces/fair-forward/evals-for-every-language访问。

查看AI Language Proficiency Monitor

Dataset card 内容： 

Files and versions 内容： 

关于 德国人工智能研究中心（DFKI） , 德国人工智能研究中心（Deutsches Forschungszentrum für Künstliche Intelligenz, DFKI）是欧洲最大的在人工智能领域进行科研的机构之一，成立于1988年，总部位于德国凯泽斯劳滕，并在德国和其他国家设有多个分部。该中心致力于人工智能的基础与应用研究，涉及机器学习、自然语言处理、智能机器人等多个研究方向。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。