香港科技大学 发布 NaVAB 数据集, 应用在 语言模型评估、价值观分析 领域

香港科技大学 本次发布的数据集 NaVAB, NaVAB是一个综合性的评估基准，用于评估大型语言模型（LLM）与五个主要国家（中国、美国、英国、法国、德国）价值观的契合度。该数据集通过收集八个国家官方媒体新闻数据，运用主题模型、价值观敏感主题筛选和价值观评估数据生成等步骤构建而成。NaVAB旨在解决现有评估LLM价值观契合度的基准所存在的局限性，如缺乏跨国家评估、数据覆盖不足等问题。该数据集可广泛应用于评估LLM在多国家价值观方面的表现，以促进LLM与不同国家价值观的更好契合。

查看NaVAB

Dataset card 内容： 

Files and versions 内容： 

关于 香港科技大学 , 香港科技大学（HKUST）是一所位于中国香港的国际化研究型大学，以其在科学研究和创新教育领域的卓越表现而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。