IBM研究院 发布 MTRAG 数据集, 应用在 自然语言处理、对话系统评估 领域

IBM研究院 本次发布的数据集 MTRAG, MTRAG是由IBM研究院开发的多轮对话检索增强生成（RAG）基准数据集，旨在评估RAG系统在多轮对话中的表现。该数据集包含110个对话，平均每个对话有7.7轮，总共842个任务，涵盖了四个不同领域（如维基百科、金融、政府和技术文档）。数据集的创建过程通过人工标注者与RAG系统的实时交互完成，确保了对话的多样性和真实性。每个对话都经过精心设计，包含多种问题类型、多轮对话模式以及可回答性维度。MTRAG的应用领域主要集中在自然语言处理中的对话系统评估，旨在解决多轮对话中检索和生成的挑战，特别是在处理不可回答问题、非独立问题以及跨领域对话时的表现。

查看MTRAG

README 内容： 

关于 IBM研究院 , IBM研究院是国际商业机器公司（IBM）旗下的研究机构，成立于1945年。该研究院致力于推动计算机科学、人工智能、量子计算等领域的技术创新，是全球领先的科技研究机构之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。