阿萨姆卡齐兰加大学 发布 Assamese Dataset Repository 数据集, 应用在 自然语言处理、机器翻译 领域

阿萨姆卡齐兰加大学 本次发布的数据集 Assamese Dataset Repository, Assamese Dataset Repository是由阿萨姆卡齐兰加大学创建的一个集中式开源数据集库，旨在提升阿萨姆语的自然语言处理（NLP）和机器翻译（NMT）能力。该数据集库包含预训练和微调语料，支持情感分析、命名实体识别和机器翻译等多种任务。数据集内容丰富，包括维基百科数据、CC-100单语数据、C4多语言数据等，总计9个数据集。创建过程涉及从多种来源收集和整理数据，确保语言变体的广泛代表性。该数据集主要应用于AI驱动的研究领域，如大型语言模型（LLMs）、光学字符识别（OCR）和聊天机器人，旨在解决阿萨姆语在NLP中的数据稀缺问题。

查看Assamese Dataset Repository

README 内容： 

关于 阿萨姆卡齐兰加大学 , 阿萨姆卡齐兰加大学是印度阿萨姆邦的一所知名大学，致力于提供高质量的教育和研究机会。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。