Riot Games 发布 Wason Inductive Logic Test (WILT) 数据集, 应用在 逻辑推理、大型语言模型 领域

Riot Games 本次发布的数据集 Wason Inductive Logic Test (WILT), Wason归纳逻辑测试（WILT）是由Riot Games开发的多轮推理基准数据集，旨在评估大型语言模型（LLMs）在多轮交互中的推理能力。该数据集包含50个中等难度的测试，每个测试要求模型通过提出测试案例来推断隐藏的规则。WILT的设计灵感来自Wason 2-4-6任务，强调模型在多轮对话中收集证据并进行逻辑推理的能力。该数据集主要用于解决LLMs在复杂多轮推理任务中的性能问题，特别是在需要逐步收集信息和推理的场景中。

查看Wason Inductive Logic Test (WILT)

关于 Riot Games , Riot Games是一家全球知名的游戏开发和发行公司，成立于2006年，总部位于美国加利福尼亚州。该公司最为人熟知的作品是《英雄联盟》（League of Legends），这是一款多人在线战术竞技游戏，自发布以来在全球范围内取得了巨大的成功和影响力。Riot Games致力于为玩家提供高质量的游戏体验，并通过电子竞技赛事推动游戏文化的发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。