约翰霍普金斯大学 本次发布的数据集 ICL CIPHERS, ICL CIPHERS是一种基于密码学中的替换密码的上下文学习(ICL)任务改革框架。通过将输入数据中的部分标记替换为其他(无关)标记,使得英文句子对人类来说难以理解,但设计上存在一个潜在的固定模式,使得这种替换是可逆的。这种双射(可逆)密码确保即使在变换之后,任务在某些抽象意义上仍然是有明确定义的。该数据集旨在研究大型语言模型(LLMs)是否能够通过双射映射解决ICL CIPHERS,从而量化ICL中的“学习”能力。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库,涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。





_1769672084863.jpg)