康奈尔大学 发布 HeuriGym 数据集, 应用在 人工智能、组合优化 领域

康奈尔大学 本次发布的数据集 HeuriGym, HeuriGym是一个为评估大型语言模型（LLMs）在组合优化问题中生成的启发式算法而设计的代理框架。数据集包含九个组合优化问题，旨在评估LLMs的多步推理能力。数据集由康奈尔大学创建，旨在解决现有评估方法在评估LLMs的推理和基于代理的问题解决能力方面的不足。HeuriGym使用明确的指标和迭代细化来评估LLMs的性能，并提供了一个开放源代码的基准套件，旨在推动LLMs在科学和工程领域更有效和现实的问题解决能力的发展。

查看HeuriGym

关于 康奈尔大学 , 康奈尔大学是一所位于美国纽约州伊萨卡市的顶级私立研究型大学，以其在科学、工程、商学和人文社科等领域的卓越研究和教学而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。