香港科技大学（广州） 发布 USTBench 数据集, 应用在 自然语言处理、智慧城市 领域

香港科技大学（广州） 本次发布的数据集 USTBench, USTBench是一个用于评估大型语言模型（LLMs）作为城市智能体进行时空推理能力的基准数据集。该数据集由香港科技大学（广州）的研究团队创建，旨在填补现有研究的空白，这些研究主要关注城市LLM智能体的结果级指标（如预测精度、交通效率），而忽视了其推理过程。USTBench通过四个分解维度（时空理解、预测、规划和反馈反思）来评估LLMs的时空推理能力，支持五种多样的城市决策任务和四种时空预测任务。数据集包含62,466个结构化QA对，用于过程级评估和标准化端到端任务评估，从而支持细粒度的诊断和广泛的任务级比较。USTBench提供了构建更适应性和有效的基于LLM的城市智能体和广泛的智慧城市应用的基石。

查看USTBench

README 内容： 

关于 香港科技大学（广州） , 香港科技大学（广州）是香港科技大学在广州设立的分校，致力于提供高质量的教育和研究，特别是在科技和工程领域，培养国际化人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。