香港理工大学 发布 NumericBench 数据集, 应用在 数值推理、自然语言处理 领域

香港理工大学 本次发布的数据集 NumericBench, NumericBench是一个全面评估大型语言模型数值推理能力的基准，由香港理工大学、香港科技大学和香港中文大学的研究人员提出。该数据集涵盖了从合成数字列表到爬取的实时世界数据，旨在评估LLM在处理长期上下文、噪声和多步骤推理方面的挑战。它综合了六个数据集，包括算术数字、混合数字字符串、数字列表、股票、天气和数值序列模式，以评估LLM在数值识别、算术运算、上下文检索、比较、汇总和逻辑推理六个基本的数值推理能力。

查看NumericBench

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。