慕尼黑工业大学 发布 EXECUTE 数据集, 应用在 自然语言处理、多语言基准 领域

慕尼黑工业大学 本次发布的数据集 EXECUTE, EXECUTE数据集是一个多语言基准，用于测试语言模型（LLMs）在不同语言中对token的理解能力。该数据集基于CUTE基准，扩展到了更多具有不同脚本和书写系统的语言。数据集主要包含8种语言，涵盖了所有已知的书写系统。数据集的创建过程包括使用TinyStories数据集中的故事，并对非英语语言进行翻译。数据集的应用领域是为了评估LLMs在不同语言中对token的处理能力，旨在解决LLMs在字符序列操作和字符组件理解方面的挑战。

查看EXECUTE

README 内容： 

关于 慕尼黑工业大学 , 慕尼黑工业大学是德国的一所著名学府，以其在工程学、计算机科学等领域的卓越教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。