意大利巴里理工大学 本次发布的数据集 ViLLA-MMBench, ViLLA-MMBench是一个用于下一代大型语言模型增强的多模态电影推荐研究的基准测试套件。该套件利用了广泛使用的MovieLens和MMTF-14K数据集，整合并校准了来自三个模态（音频、视觉和文本）的项级密集嵌入。它还自动使用最先进的LLM（例如OpenAI GPT）增强缺失或稀疏的项元数据，为数千部电影生成高质量的摘要。所有文本（原始或LLM增强）都使用可配置的密集编码器嵌入，生成多个现成的嵌入集（OpenAI Ada、LLaMA-2、Sentence-T5）。此外，ViLLA-MMBench的管道支持可互换的早期、中期和晚期融合运算符（连接、PCA、CCA和排名聚合），并公开了多种骨干推荐器（MF、VAECF、VBPR、AMR、VMF），用于消融研究。所有实验参数（包括数据集分割、模态变体、融合策略和LLM类型）都通过单个YAML文件声明性地指定，以便进行透明、版本控制的实验。评估是全面的，不仅涵盖准确性（召回率、nDCG），还涵盖准确性以外的指标：冷启动率、覆盖率、新颖性、多样性和公平性，支持严格的多指标基准测试。实验表明，基于LLM的文本增强和密集嵌入提取直接提高了冷启动和覆盖性能，特别是当强大的文本表示与视听描述符融合时。系统性的基准测试揭示了哪些嵌入和融合组合是通用的（跨模型表现良好）以及哪些是特定于骨干模型或指标的。总的来说，开源代码、嵌入和配置模板使其成为在多模态推荐系统中进行可重复、可扩展和公平比较的强大基础，并为在大规模电影推荐中原则性地集成生成式AI迈出了明确的一步。所有资源都可在https://recsys-lab.github.io/ViLLA-MMBench 公开获取。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。
_1769672084863.jpg)