中国科学技术大学 发布 PaperArena 数据集, 应用在 自然语言处理、基准测试 领域

中国科学技术大学 本次发布的数据集 PaperArena, PaperArena 是一个用于评估基于大型语言模型的智能体在科学文献上的工具增强推理能力的基准测试平台。数据集包含从顶级开放获取AI会议中抽取的数万篇论文，并使用多模态大语言模型自动生成了初始的问题-答案对，最终形成了784个高质量的问题-答案对。该数据集旨在模拟真实研究场景，要求智能体在跨多篇论文和协调多种工具的基础上回答复杂的研究问题。

查看PaperArena

README 内容： 

关于 中国科学技术大学 , 中国科学技术大学是一所专注于培养高等学历理工人才的高等学府，致力于促进科技发展。学校提供从高等专科到博士研究生的全方位学历教育，涵盖理学、工学、管理学、经济学、文学、法学、农学等多个学科领域。此外，学校还开展博士后培养、相关科学研究以及继续教育、专业培训和学术交流等活动。近期，中国科学技术大学旗下的ABACUS原子轨道基组数据资源在浙江省数据知识产权登记平台完成了登记，这一数据集可能涉及原子轨道基组的理论与计算，对于科学研究与实际应用具有重要意义。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。