滑铁卢大学 发布 StructEval 数据集, 应用在 自然语言处理、模型评估 领域

滑铁卢大学 本次发布的数据集 StructEval, StructEval 是一个全面的基准测试数据集，旨在评估大型语言模型（LLMs）生成结构化输出的能力。数据集包含 2035 个示例，涵盖了 44 种独特的结构化生成任务，跨越 18 种结构化输出格式。数据集分为两个主要子集：StructEval-T 和 StructEval-V。StructEval-T 评估 LLM 直接从自然语言提示生成结构化输出的能力，而 StructEval-V 则评估 LLM 生成可执行代码以实现指定视觉要求的能力。数据集的设计旨在推动 LLM 在结构化输出生成方面的进步，这对于软件开发、数据管道、用户界面生成和科学出版等领域的实际应用至关重要。

查看StructEval

关于 滑铁卢大学 , 滑铁卢大学是一所位于加拿大滑铁卢的公立研究型大学，成立于1957年，是全球知名的研究机构之一，尤其在数学、工程、计算机科学等领域享有盛誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。