伊利诺伊大学厄巴纳-香槟分校 发布 BIODSA-1K 数据集, 应用在 生物医学研究、人工智能评估 领域

伊利诺伊大学厄巴纳-香槟分校 本次发布的数据集 BIODSA-1K, BIODSA-1K是一个用于评估人工智能代理在现实世界、数据驱动的生物医学假设验证任务上的性能的基准。该数据集包括1,029个以假设为中心的任务，每个任务配对1,177个分析计划，从超过300篇已发表的生物医学研究中精心挑选，以反映真实研究工作流程中的结构和推理。每个任务包括一个从原始研究的结论中得出的结构化假设，以肯定的形式表达，反映科学报告的语言，以及一个或多个基于实证数据表的支撑证据。该基准沿四个轴进行评估：假设决策的准确性、证据与结论的一致性、推理过程的正确性以及人工智能生成的分析代码的可执行性。重要的是，BIODSA-1K包括不可验证的假设：在现实世界科学中常见但未充分探索的场景，即现有数据不足以支持或反驳一个主张。我们提出BIODSA-1K作为构建和评估可推广、值得信赖的人工智能代理以进行生物医学发现的基础。

查看BIODSA-1K

关于 伊利诺伊大学厄巴纳-香槟分校 , 伊利诺伊大学厄巴纳-香槟分校（UIUC）是美国顶尖的公立研究型大学，位于伊利诺伊州的厄巴纳和香槟市。该校在工程、计算机科学、商学等领域享有盛誉，拥有众多诺贝尔奖得主和图灵奖得主。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。