山东大学 发布 RobustPrompt Benchmark 数据集, 应用在 视觉语言模型、提示工程 领域

山东大学 本次发布的数据集 RobustPrompt Benchmark, RobustPrompt Benchmark是由山东大学和阿联酋人工智能大学共同创建的一个系统性的基准测试，旨在评估视觉语言模型(VLMs)对不同提示模板的鲁棒性。该数据集包含数百个精心设计的提示模板，分为六类，涵盖了常用的模板类型。数据集的创建过程包括对模板的仔细设计和人工筛选，以确保能够全面代表常见的语言变化。这个数据集的应用领域是改善提示工程，提高模型对不同提示模板变化的鲁棒性。

查看RobustPrompt Benchmark

README 内容： 

关于 山东大学 , 山东大学是中国山东省的一所综合性大学，是中国教育部直属的全国重点大学，也是国家‘211工程’和‘985工程’重点支持的大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。