密歇根大学 发布 FACTBENCH 数据集, 应用在 语言模型评估、事实性检测 领域

密歇根大学 本次发布的数据集 FACTBENCH, FACTBENCH是由密歇根大学计算机科学与工程系创建的一个动态基准数据集，用于评估语言模型在真实世界交互中的事实性。该数据集包含1000个多样化的信息查询提示，涵盖150个主题，旨在捕捉语言模型在生成错误和不明确响应时面临的挑战。数据集的创建过程包括从LMSYS-Chat-1M数据集中提取提示，并通过VERIFY管道进行验证和分类。FACTBENCH的应用领域主要集中在语言模型的事实性评估，旨在解决模型在处理复杂和多样化查询时可能产生的幻觉问题。

查看FACTBENCH

Dataset card 内容： 

Files and versions 内容： 

关于 密歇根大学 , 密歇根大学（University of Michigan）是一所位于美国密歇根州安娜堡的公立研究型大学，成立于1817年。它是美国历史最悠久的公立大学之一，也是美国大学协会的创始成员之一。密歇根大学在多个学科领域都有卓越的研究和教学成果，尤其在工程、医学、商学和法学等领域享有盛誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。