复旦大学 发布 TAM Bench 数据集, 应用在 自动机器学习、基准测试 领域

复旦大学 本次发布的数据集 TAM Bench, TAM Bench是一个为评估基于LLM的代理在端到端ML任务上的综合能力而设计的多样化、现实化和结构化的基准。该基准具有三个关键创新：(1)一个基于浏览器自动化和LLM的任务获取系统，自动从Kaggle、AIcrowd和Biendata等平台收集和结构化ML挑战，涵盖多种任务类型和数据模态；(2)一个基于排行榜的难度建模机制，使用参与者数量和分数分布来估计任务复杂性，实现可扩展和客观的任务校准；(3)一个多维度评估框架，结合性能、格式合规性、约束遵守和任务泛化。基于150个精心策划的AutoML任务，我们构建了三个不同大小的基准子集，包括Lite、Medium和Full，以适应不同的评估场景。

查看TAM Bench

关于 复旦大学 , 复旦大学是中国的一所综合性研究型大学，以其在多个学科领域的卓越表现和研究成果享誉全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。