艾伦人工智能研究所 发布 AstaBench 数据集, 应用在 人工智能、科学研究 领域

艾伦人工智能研究所 本次发布的数据集 AstaBench, AstaBench是一个用于全面评估AI代理进行科学研究的基准测试套件。它包含2400多个问题，涵盖了整个科学发现过程和多个科学领域，包括许多基于实际用户请求的问题。该套件还提供了首个具有生产级搜索工具的科学研究环境，这些工具可以用于检索大型科学文献语料库中的信息，从而实现可控、可复制的评估。此外，AstaBench还包括九种针对科学研究任务优化的Asta代理类别和众多基线代理。

查看AstaBench

README 内容： 

关于 艾伦人工智能研究所 , 艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。