香港大学 发布 RealFactBench 数据集, 应用在 自然语言处理、事实核查 领域

香港大学 本次发布的数据集 RealFactBench, RealFactBench是一个用于评估大型语言模型（LLMs）和多媒体大型语言模型（MLLMs）在现实世界事实核查任务中能力的综合基准。该数据集由6000条高质量声明组成，这些声明来自权威来源，涵盖了多媒体内容和多个领域。RealFactBench包含三个任务：知识验证、谣言检测和事件验证，旨在评估模型在不同事实核查任务中的能力。数据集还包括了一个新的评估指标——未知率（UnR），用于评估模型处理不确定性的能力。通过在7个LLMs和4个MLLMs上的广泛实验，该基准揭示了模型在现实世界事实核查中的局限性，并为进一步研究提供了有价值的见解。

查看RealFactBench

关于 香港大学 , 香港大学是一所位于中国香港的国际化公立研究型大学，具有很高的国际声誉，提供多个学科的本科及研究生教育。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。