美国贝鲁特美国大学 发布 LanguageWave (LW) 数据集, 应用在 低资源方言翻译、文化感知 领域

美国贝鲁特美国大学 本次发布的数据集 LanguageWave (LW), LanguageWave (LW) 数据集是一个针对黎巴嫩方言的文化感知英黎平行数据集，包含约 3000 个句子，由 95 期播客节目提取而来，涵盖了黎巴嫩文化的各个方面。该数据集由美国贝鲁特美国大学电气与计算机工程系的研究人员创建，旨在解决低资源方言翻译的挑战，特别是黎巴嫩方言的翻译。数据集的创建过程采用了合成数据的方法，利用了黎巴嫩语法书中的规则和示例，并通过 Claude 3.5 Sonnet 生成了相关的翻译示例。该数据集已被用于训练和评估大型语言模型在黎巴嫩方言翻译任务上的性能，并取得了优于非原生翻译数据集的成果。数据集的访问地址为 https://github.com/silvayakhni/language_wave。

查看LanguageWave (LW)

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。