IBM研究院发布ELT-Bench-Verified数据集,应用在数据工程自动化、AI代理评估领域

IBM研究院本次发布的数据集ELT-Bench-Verified,ELT-Bench-Verified是由IBM研究院、苏黎世联邦理工学院等机构联合构建的基准数据集，旨在评估AI代理在端到端ELT（提取-加载-转换）管道构建中的能力。该数据集包含100项任务，涵盖异构数据源连接、云数据仓库加载及SQL转换逻辑生成，数据规模涉及203个目标数据模型的660列级比对。其构建过程通过审计-校正框架（Fleiss’ κ=0.85人工验证）对原始ELT-Bench的标注错误进行系统性修正，解决了32%的基准归因错误。该数据集主要应用于数据工程自动化领域，为AI驱动的工作流优化提供可靠性验证基准。

查看ELT-Bench-Verified

关于IBM研究院,IBM研究院是IBM公司的研究部门，成立于1945年，是全球领先的企业研究机构之一，专注于计算机科学、人工智能、量子计算等领域的创新研究。

关于arXiv,全球最大的预印本学术论文数据库，涵盖物理、数学、计算机科学等多个学科领域。