上海交通大学 发布 ResearcherBench 数据集, 应用在 人工智能研究、基准测试 领域

上海交通大学 本次发布的数据集 ResearcherBench, ResearcherBench是一个用于评估深度人工智能研究系统（DARS）在科学前沿问题上能力的基准测试平台。该数据集由65个精心挑选的研究问题组成，这些研究问题来自实验室讨论、与领先的人工智能研究人员的访谈和活跃的科学论坛等真实世界科学场景，涵盖了35个不同的人工智能研究主题，并分为技术细节、文献综述和开放咨询三种类型。数据集的创建过程遵循了严格的数据收集和筛选方法，确保了问题的真实性和质量。该数据集旨在解决当前评估框架在评估深度研究能力方面的局限性，特别是在评估人工智能系统是否能够理解复杂问题并提供有意义的见解方面。数据集的应用领域包括促进新一代人工智能研究助手的开发，以及为人工智能研究评估提供新的视角。

查看ResearcherBench

README 内容： 

关于 上海交通大学 , 上海交通大学是一所位于中国上海市的著名综合性研究型大学，以工程学、管理学和医学等领域的研究和教学而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。