KTH Royal Institute of Technology 发布 CASTILLO 数据集, 应用在 自然语言处理、机器学习 领域

KTH Royal Institute of Technology 本次发布的数据集 CASTILLO, CASTILLO数据集旨在表征大型语言模型（LLM）的响应长度分布，涵盖13个广泛使用的开源LLM和7个指令遵循数据集。该数据集通过固定解码超参数为每个 ⟨prompt, model⟩ 样本对生成10个独立的完成结果，并记录每个响应的token长度。数据集包含了摘要统计（均值、标准差、百分位数）、最短和最长的完成结果以及确切的生成设置。CASTILLO数据集可用于开发预测模型以实现主动调度，并提供一个系统的框架来分析特定模型的行为。数据集和代码已公开发布，以促进生成语言建模和系统之间的研究。

查看CASTILLO

关于 KTH Royal Institute of Technology , KTH Royal Institute of Technology 是瑞典的一所著名理工学院，位于斯德哥尔摩，是瑞典最大的高等教育机构之一，提供工程、技术、建筑、工业经济和信息科学等领域的教育与研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。