北京大学 发布 KUMO 数据集, 应用在 人工智能评估、自然语言处理 领域

北京大学 本次发布的数据集 KUMO, KUMO是一个为评估LLM复杂推理能力而设计的生成评估框架。该框架结合了LLM和符号引擎，动态生成多样化的多轮推理任务，这些任务具有部分可观察性和可调整的难度。KUMO通过自动化管道持续生成新颖的任务，涵盖开放性领域的100个不同领域，迫使模型展示真正的泛化能力而非记忆。

查看KUMO

关于 北京大学 , 北京大学是中国著名的高等学府，成立于1898年，是中国最早成立的现代大学之一，也是直属于教育部的全国重点大学。该校在国内外享有很高的声誉，是中国高等教育的典范，涵盖了广泛的学科领域，包括自然科学、工程技术、人文社会科学、医学等。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。