腾讯 发布 Sequential-NIAH 数据集, 应用在 自然语言处理、长文本信息检索 领域

腾讯 本次发布的数据集 Sequential-NIAH, Sequential-NIAH数据集是由腾讯YouTu实验室创建的，旨在评估大型语言模型处理长文本上下文并从中提取顺序信息的能力。该数据集包含三种类型的针生成管道：合成针、真实针和开放域问答针，涵盖了从8K到128K tokens不等的上下文长度，共包含14,000个样本。数据集通过将顺序针随机插入到长文本中，以模拟在长文本中检索相关信息项的挑战。该数据集的应用领域主要是为了解决长文本信息检索的问题，特别是在需要理解文本中信息项的顺序关系时。

查看Sequential-NIAH

关于 腾讯 , 腾讯是中国领先的互联网科技公司，成立于1998年，总部位于深圳。公司主要提供社交网络、移动支付、在线游戏、云计算等服务，旗下拥有微信、QQ等知名产品，是全球最大的互联网公司之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。