腾讯AI实验室 发布 LONGMEMEVAL 数据集, 应用在 对话AI、记忆能力评估 领域

腾讯AI实验室 本次发布的数据集 LONGMEMEVAL, LONGMEMEVAL是由腾讯AI实验室西雅图分部创建的一个综合基准数据集，旨在评估聊天助手在长期交互中的记忆能力。该数据集包含500个高质量问题，覆盖信息提取、跨会话推理、时间推理、知识更新和拒绝回答等五种核心记忆能力。数据集的内容通过多轮任务导向的用户-AI对话生成，历史长度可自由配置，提供了约115k和1.5M tokens的标准设置。创建过程中采用了属性控制的流水线，确保对话历史的连贯性和可扩展性。LONGMEMEVAL的应用领域主要集中在个性化和可靠的对话AI系统，旨在解决长期交互中的记忆和推理问题。

查看LONGMEMEVAL

README 内容： 

关于 腾讯AI实验室 , 腾讯AI实验室是腾讯公司旗下的研究机构，专注于人工智能技术的研究和应用，致力于推动AI技术的发展和创新。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。