约翰斯·霍普金斯大学 发布 PARADISE 数据集, 应用在 自然语言处理、机器学习评估 领域

约翰斯·霍普金斯大学 本次发布的数据集 PARADISE, PARADISE数据集由约翰斯·霍普金斯大学和科奇大学创建，包含超过104,000条警告和提示，源自wikiHow的实用程序文本。该数据集旨在评估大型语言模型在推理和执行计划方面的能力，特别是在缺乏明确指令的情况下推断隐含知识。数据集涵盖广泛领域，通过问答格式进行任务设计，以测试模型对隐含计划知识的理解。PARADISE不仅为模型评估提供了一个可靠的测试平台，还促进了零样本和少样本学习在未见程序任务上的性能提升。

查看PARADISE

README 内容： 

关于 约翰斯·霍普金斯大学 , 约翰斯·霍普金斯大学是一所位于美国马里兰州巴尔的摩的私立研究型大学，成立于1876年。该校以其卓越的医学和公共卫生项目闻名，同时也拥有强大的工程、科学和社会科学研究项目。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。