瑞士洛桑联邦理工学院 发布 JSONSchemaBench 数据集, 应用在 结构化生成、语言模型 领域

瑞士洛桑联邦理工学院 本次发布的数据集 JSONSchemaBench, JSONSchemaBench是一个由瑞士洛桑联邦理工学院和微软等机构共同创建的数据集，旨在评估语言模型在生成结构化输出时的性能。该数据集包含10,000个真实世界的JSON模式，涵盖了从简单到复杂的多种约束类型，适用于函数签名、服务API和系统配置等领域。数据集的创建过程包括从公开的GitHub仓库、JSON Schema测试套件等来源收集数据，并经过标准化处理以确保一致性。该数据集的应用领域主要集中在结构化生成任务中，旨在解决语言模型在生成符合预定义格式和约束的输出时的挑战。

查看JSONSchemaBench

README 内容： 

关于 瑞士洛桑联邦理工学院 , 瑞士洛桑联邦理工学院（EPFL）是瑞士的一所世界顶尖的理工类大学，位于瑞士法语区的洛桑。该校以其在工程、计算机科学、物理科学和生命科学等领域的研究和教学而闻名，是欧洲乃至全球科技创新的重要中心之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。