香港大学 发布 MMOral 数据集, 应用在 牙科影像分析、多模态AI 领域

香港大学 本次发布的数据集 MMOral, MMOral是一个针对全景X光片解读的大规模多模态指令数据集和基准。它包括20,563张带有1.3百万条指令跟随实例的注释图像，涵盖了多种任务类型，如属性提取、报告生成、视觉问答和基于图像的对话。此外，我们还提出了MMOral-Bench，这是一个涵盖牙科五个关键诊断维度的综合评估套件。我们评估了64个LVLMs在MMOral-Bench上的表现，发现即使是表现最好的模型GPT-4o，也只能达到41.45%的准确率，这揭示了当前模型在这一领域的显著局限性。为了促进该特定领域的发展，我们还提出了OralGPT，它使用我们精心策划的MMOral指令数据集对Qwen2.5-VL-7B进行监督微调。值得注意的是，一个SFT周期就为LVLMs带来了显著的性能提升，例如，OralGPT表现出24.73%的改进。MMOral和OralGPT都具有作为智能牙科关键基础的巨大潜力，并使牙科领域中的多模态AI系统更具临床意义。数据集、模型、基准和评估套件可在上述网址获取。

查看MMOral

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。