布朗大学 发布 MoDoMoDo 数据集, 应用在 多模态数据处理、强化学习 领域

布朗大学 本次发布的数据集 MoDoMoDo, MoDoMoDo 是一个多模态数据混合框架，用于多模态大型语言模型（MLLM）的强化学习。该框架旨在优化多数据集混合策略，以提高模型在多模态任务上的泛化和推理能力。MoDoMoDo 包含五个图像-文本数据集，每个数据集具有不同的可验证奖励，用于训练和评估 MLLM 的推理能力。实验结果表明，与均匀数据混合相比，MoDoMoDo 的最佳混合可以提高模型在分布外基准上的准确率。

查看MoDoMoDo

关于 布朗大学 , 布朗大学是美国罗德岛州普罗维登斯的一所私立研究型大学，是美国常春藤盟校之一，提供本科及研究生教育，以其高水平的教学和研究闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。