Trishul Lab 发布 Clever 数据集, 应用在 程序合成、形式推理 领域

Trishul Lab 本次发布的数据集 Clever, 该数据集是一个高质量、精心筛选的基准，包含了161个问题，旨在推动_Lean_编程语言中的端到端验证代码生成。每个问题都要求生成一个规范说明以及一个满足该规范的_Lean_实现，并通过_Lean_的类型检查器来验证输出结果。此外，该基准设计避免了测试用例的监督，确保输出结果是事后验证的，从而使其成为程序合成和形式推理领域的挑战性前沿基准。任务内容为端到端的验证代码生成。

查看Clever

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。