AI4Bharat 发布 IndicXlit Romanized Dataset 数据集, 应用在 自然语言处理、机器学习 领域

AI4Bharat 本次发布的数据集 IndicXlit Romanized Dataset, 该数据集是通过使用IndicXlit模型将网络爬取的印地语语料库音译生成的，旨在对罗马字文本进行LLM（大型语言模型）的持续预训练。此外，该数据集采用罗马化文本格式，旨在提高LLM在印地语处理方面的能力，使其与英语更好地对齐。该数据集规模大约为1亿个单词，其任务是对印地语语言处理进行持续预训练。

查看IndicXlit Romanized Dataset

README 内容： 

关于 AI4Bharat , AI4Bharat是一个专注于人工智能研究和应用的印度组织，旨在推动人工智能技术在印度的普及和应用，特别是在教育、医疗和农业等领域。尼勒卡尼中心是其下属的一个研究机构，致力于通过人工智能解决社会问题。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。