韩国大学 发布 MCBench 数据集, 应用在 自然语言处理、模型评估 领域

韩国大学 本次发布的数据集 MCBench, MCBench是一个为评估大型语言模型（LLM）能否通过严格遵循逐步指令来执行字符串匹配自然语言处理（NLP）度量的基准测试。该数据集包括详细的、分步的规则，由需求、示例和代码三部分组成。LLM需要根据这些规则计算给定陈述的最终度量分数。MCBench旨在评估LLM的三个关键能力：复杂指令遵循、数学推理和长期一致性。数据集还包含多种类型的陈述，包括低资源语言、特殊字符和需要特别注意的陈述，以分析LLM在处理不同输入类型时的能力。MCBench通过引入三个不同的评估指标，包括最终准确性（FA）、格式遵循（FF）和遵循深度（FD），实现了更精确的评估。

查看MCBench

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。