Project Gutenberg 发布 Don Quixote 数据集, 应用在 自然语言处理、文本分析 领域

Project Gutenberg 本次发布的数据集 Don Quixote, 该数据集包含了米格尔·德·塞万提斯所著的《堂吉诃德》的英文翻译版本，旨在研究语言固有的自相似性，并测量其相关维数。该文本被用于大规模语言模型进行的高维序列分析，其规模达到了150,000词，任务包括测量语言的相关维数以及分析语言中的自相似性。

查看Don Quixote

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。