南洋理工大学 发布 StructTest 数据集, 应用在 大语言模型评估、结构化输出 领域

南洋理工大学 本次发布的数据集 StructTest, StructTest是一个用于评估大语言模型生成结构化输出能力的新基准，由南洋理工大学、Salesforce Research等机构联合开发。该数据集涵盖了摘要、代码、HTML生成和数学推理等多个任务领域，旨在通过结构化输出评估模型的逻辑推理能力。数据集通过程序化评估，确保评估过程的无偏性、快速性和低成本。StructTest的设计使其能够轻松扩展到新任务，并且对数据污染具有鲁棒性。该基准的应用领域包括模型评估和推理能力测试，旨在解决现有评估方法中的偏见和数据污染问题。

查看StructTest

关于 南洋理工大学 , 南洋理工大学是新加坡的一所世界顶尖的研究型大学，以其在工程、商业、科学和人文领域的研究和教学而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。