卡内基梅隆大学 发布 DATE-LM 数据集, 应用在 数据归属、自然语言处理 领域

卡内基梅隆大学 本次发布的数据集 DATE-LM, DATE-LM是一个统一的基准，用于通过实际应用评估数据归属方法。它通过三个关键任务——训练数据选择、毒性/偏见过滤和事实归属来衡量归属质量。DATE-LM旨在易于使用，使研究人员能够在各种任务和LLM架构上进行大规模评估。此外，我们使用DATE-LM对现有的数据归属方法进行了大规模评估。我们的发现表明，没有一种方法在所有任务中都占主导地位，数据归属方法与更简单的基线之间存在权衡，并且方法性能对特定任务的评估设计敏感。最后，我们发布了一个公共排行榜，以便快速比较方法并促进社区参与。

查看DATE-LM

README 内容： 

关于 卡内基梅隆大学 , 卡内基梅隆大学是一所位于美国宾夕法尼亚州匹兹堡的私立研究型大学，以其在计算机科学、工程、商学和艺术等领域的卓越教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。