AI at Meta 发布 Multi-IF 数据集, 应用在 语言模型评估、多语言处理 领域

AI at Meta 本次发布的数据集 Multi-IF, Multi-IF数据集是一个新的基准，用于评估大型语言模型在多轮和多语言指令跟随方面的能力。该数据集包含4501个多语言对话，每个对话有三个轮次，涵盖英语、法语、西班牙语、葡萄牙语、印地语、中文、俄语和意大利语。通过结合LLM和人工标注者的混合框架，Multi-IF扩展了IFEval，增加了多轮序列并将英语提示翻译成其他7种语言。评估结果显示，所有测试的模型在执行指令时随着轮次的增加失败率更高，特别是在使用非拉丁字母的语言时错误率更高。

查看Multi-IF

Dataset card 内容： 

Files and versions 内容： 

关于 AI at Meta , AI at Meta是Meta公司旗下的人工智能研究团队，致力于推动机器学习技术的前沿发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。