哈佛大学 发布 HEADLINES 数据集, 应用在 历史文本分析、语义相似性 领域

哈佛大学 本次发布的数据集 HEADLINES, HEADLINES数据集是由哈佛大学和国家经济研究局的研究人员创建，包含近4亿条从1920年至1989年的历史英语报纸中提取的语义相似性数据对。该数据集利用了新数字化的美国地方报纸文章，通过深度神经网络方法识别来自同一来源的文章，构建了大规模的语义相似性数据集。HEADLINES数据集不仅规模庞大，而且覆盖了长时间跨度，适用于训练和评估旨在捕捉抽象相似性的模型，如聚类、最近邻检索和语义搜索。此外，该数据集还能用于评估动态语言模型处理持续演变的文本内容的能力，以及大型语言模型处理历史文本的适应性。

查看HEADLINES

Dataset card 内容： 

Files and versions 内容： 

关于 哈佛大学 , 哈佛大学是一所享誉全球的私立研究型大学，位于美国马萨诸塞州的剑桥市，以其卓越的教学和研究水平在全球高等教育界享有崇高地位。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。