腾讯微信人工智能实验室 发布 PRELUDE 数据集, 应用在 自然语言处理、机器学习 领域

腾讯微信人工智能实验室 本次发布的数据集 PRELUDE, PRELUDE数据集是一个用于评估长上下文理解能力的基准数据集。该数据集包含约1000个示例，每个示例都是一个假设性的前传故事，需要模型判断其是否与原始故事一致。该数据集要求模型具备全局理解和深度推理能力，并且能够整合故事中分散的证据。实验结果表明，当前的最先进语言模型在PRELUDE任务上的表现落后于人类15%以上，并且推理准确性差距超过30%。这表明PRELUDE数据集能够有效评估模型的长上下文理解和推理能力，并为未来研究提供重要方向。

查看PRELUDE

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。