谷歌DeepMind 发布 The FACTS Leaderboard 数据集, 应用在 语言模型评估、事实性基准测试 领域

谷歌DeepMind 本次发布的数据集 The FACTS Leaderboard, FACTS Leaderboard是由谷歌DeepMind、谷歌研究院、谷歌云和Kaggle联合创建的一个综合性基准测试套件，旨在评估大型语言模型在多样化场景中生成事实准确文本的能力。该数据集包含约1500个问题，涵盖多模态、参数化、搜索和基于文档的四个子任务，通过自动化评估模型对问题的回答进行评分。数据来源于多样化的用户查询，经过精心筛选以确保客观性和信息性。该数据集的应用领域包括提升语言模型的事实性、多模态理解和信息检索能力，旨在解决模型生成不准确信息的问题。

查看The FACTS Leaderboard

关于 谷歌DeepMind , 谷歌DeepMind是谷歌旗下专注于人工智能研究的子公司，致力于推动人工智能技术的发展，尤其在深度学习、强化学习和通用人工智能领域具有重要影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。