庆应大学 发布 Human Preference-Aligned Concept Customization Benchmark (CC-AlignBench) 数据集, 应用在 多模态大型语言模型、概念定制 领域

庆应大学 本次发布的数据集 Human Preference-Aligned Concept Customization Benchmark (CC-AlignBench), CC-AlignBench是一个包含单概念和多概念任务的综合评价数据集，旨在通过分解评估标准并使用多模态大型语言模型(MLLM)进行逐方面评估，从而更好地与人类偏好保持一致。数据集包含980个文本提示，涵盖了三种不同的人类动作水平（单个动作、两个独立动作和两个相互动作），以及五种不同的条件类型（动作、布局、表情和周围环境的五种不同组合）。数据集通过评估人类动作水平或条件类型，使模型的概念定制能力得到系统评估。

查看Human Preference-Aligned Concept Customization Benchmark (CC-AlignBench)

README 内容： 

关于 庆应大学 , 庆应大学（Keio University）是日本的一所私立大学，成立于1858年，是日本历史最悠久的大学之一，提供广泛的本科和研究生课程。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。