乔治梅森大学 发布 mHumanEval 数据集, 应用在 代码生成、多语言评估 领域

乔治梅森大学 本次发布的数据集 mHumanEval, mHumanEval是由乔治梅森大学开发的用于评估大型语言模型代码生成能力的多语言基准数据集。该数据集包含33,456个编程提示，涵盖204种自然语言和25种编程语言，旨在解决现有基准在任务多样性、测试覆盖率和语言范围方面的局限性。数据集通过机器翻译和专家人工翻译相结合的方式创建，确保了翻译质量。mHumanEval的应用领域主要集中在评估和提升多语言环境下的代码生成模型性能，特别是在低资源语言环境中的表现。

查看mHumanEval

关于 乔治梅森大学 , 乔治梅森大学（George Mason University）是一所位于美国弗吉尼亚州的公立研究型大学，成立于1972年。该校以其强大的法学、经济学和计算机科学项目而闻名，同时也是美国最大的公立大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。