伦敦大学学院 发布 RESPONSE 数据集, 应用在 自然灾害应对、机器学习模型评估 领域

伦敦大学学院 本次发布的数据集 RESPONSE, RESPONSE数据集是一个由伦敦大学学院创建的人类 curated 数据集，包含1789个经过注释的实例，涵盖6037组问题，旨在评估LLM在灾难情况下进行常识推理的能力。数据集包含问题描述、缺失资源、时间敏感的解决方案及其解释，其中一部分由环境工程师验证。该数据集主要用于评估LLM生成的建议与人类响应的对比，以解决灾难情况下的常识推理问题。

查看RESPONSE

关于 伦敦大学学院 , 伦敦大学学院（University College London，简称UCL）是一所位于英国伦敦的顶级公立研究型大学，以其卓越的学术研究和教育质量享誉全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。