发布 SealQA 数据集, 应用在 自然语言处理、搜索引擎 领域

本次发布的数据集 SealQA, 该数据集名为SealQA，是一个旨在评估搜索引擎增强型语言模型在处理寻求事实性问题时的挑战性基准。特别是在网络搜索结果存在冲突或噪音的情况下，SealQA能够对模型的推理能力和事实准确性进行考验。该数据集包含三种类型：Seal-0、Seal-Hard和LongSeal，分别设计用来测试不同方面的推理能力和事实准确性。数据集中的问题平均长度为31个标记，覆盖了包括科学、体育、娱乐、政治和历史在内的多个领域。其任务在于评估语言模型在处理含噪声搜索结果时的推理能力和鲁棒性。

查看SealQA

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。