上海交通大学 发布 DATASETRESEARCH 数据集, 应用在 人工智能、自然语言处理 领域

上海交通大学 本次发布的数据集 DATASETRESEARCH, DATASETRESEARCH是一个全面评估人工智能代理在按需数据集发现和综合方面的能力的基准。该基准包含了来自Huggingface和PaperswithCode的208个真实世界的数据集需求，涵盖了六大自然语言处理任务。数据集的构建过程首先从超过100万个候选数据集中筛选出208个实例，然后利用OpenAI的o3模型处理相关的README文件和数据样本，生成六维度的元数据。最后，o3模型合成这些元数据以生成对应的数据集需求。DATASETRESEARCH旨在评估搜索代理和推理代理在数据集发现和综合方面的能力，通过元数据评估、少样本性能评估和监督微调效果等三个评估方法来衡量代理系统的性能。

查看DATASETRESEARCH

关于 上海交通大学 , 上海交通大学是中华人民共和国教育部直属的全国重点大学，位于上海，是‘985工程’和‘211工程’的首批高校之一，具有很高的学术声誉和国际影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。