卢森堡大学 发布 基于凯撒密码的污染抵抗基准 数据集, 应用在 自然语言处理、模型评估 领域

卢森堡大学 本次发布的数据集 基于凯撒密码的污染抵抗基准, 本数据集基于凯撒密码，旨在创建一个污染抵抗基准，以评估大型语言模型（LLMs）的逻辑推理、算术推理和泛化能力。数据集包含不同偏移量的凯撒密码和两种类型的明文（自然语言英语单词和随机非单词），共计200条数据。凯撒密码的动态性质使得LLMs难以记住所有可能的查询，从而提高了评估的公平性。数据集轻量化，易于生成新实例，使得更新过程更为便捷。数据集可用于评估LLMs在不同任务上的能力，并揭示LLMs在污染控制下的真实性能。

查看基于凯撒密码的污染抵抗基准

关于 卢森堡大学 , 卢森堡大学是卢森堡唯一的一所公立大学，成立于2003年，位于卢森堡市。该校提供多学科的教育和研究，涵盖自然科学、工程、人文社会科学和法律等领域。卢森堡大学在国际上享有较高的声誉，特别是在计算机科学、金融和欧洲法律研究方面。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。