延世大学 发布 KULTURE Bench 数据集, 应用在 语言模型评估、文化理解 领域

延世大学 本次发布的数据集 KULTURE Bench, KULTURE Bench是由延世大学开发的一个专门用于评估语言模型在韩国文化背景下理解和推理能力的基准数据集。该数据集包含3584个实例，涵盖了韩国文化新闻、成语和诗歌三个子数据集，旨在从词汇、句子和段落层面评估模型的文化理解能力。数据集的创建过程包括从韩国新闻和教科书中提取真实内容，并通过自动化和手动校对相结合的方式构建。KULTURE Bench主要用于评估语言模型在处理韩国文化相关文本时的表现，特别是在理解深层次文化背景和历史语境方面的能力。

查看KULTURE Bench

关于 延世大学 , 延世大学是韩国首尔的一所顶尖私立研究型大学，以其卓越的教育质量和国际化的学术环境著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。