伊利诺伊大学厄巴纳-香槟分校 发布 ORBIT-curated astronomy dataset 数据集, 应用在 天文学、大语言模型 领域

伊利诺伊大学厄巴纳-香槟分校 本次发布的数据集 ORBIT-curated astronomy dataset, ORBIT-curated astronomy dataset是由伊利诺伊大学厄巴纳-香槟分校的研究团队创建的高质量天文学领域数据集，包含100亿个Tokens。该数据集从FineWeb-Edu数据集中筛选而来，结合了学术文本和网络教育内容，旨在为大语言模型提供深度和广度兼具的天文学知识。数据集的创建过程采用了嵌入式相似性匹配和BERT回归模型进行过滤，确保了数据的质量和相关性。该数据集主要用于提升大语言模型在天文学领域的性能，解决通用模型在专业领域知识不足的问题。

查看ORBIT-curated astronomy dataset

README 内容： 

关于 伊利诺伊大学厄巴纳-香槟分校 , 伊利诺伊大学厄巴纳-香槟分校（University of Illinois at Urbana-Champaign，简称UIUC）是美国伊利诺伊州的一所公立研究型大学，成立于1867年。该校在工程、计算机科学、商学、农业科学等领域享有盛誉，是美国顶尖的公立大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。