发布 HumanEvalComm 数据集, 应用在 代码生成、模型沟通 领域

本次发布的数据集 HumanEvalComm, HumanEvalComm是一个用于评估大型语言模型（LLMs）在代码生成任务中沟通能力的基准数据集。它基于广泛使用的HumanEval基准，包含了762个修改后的问题描述。这些修改通过引入模糊性、不一致性和不完整性来触发澄清问题。数据集的目标是评估LLMs在面对不完整、不一致或模糊的编码问题要求时，提出澄清问题的能力。数据集的结构与HumanEval基准相同，但增加了多个提示字段，用于不同澄清类型的问题描述。

查看HumanEvalComm

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。