Knowledge Verse AI 发布 Self-Knowledge Tasks 数据集, 应用在 人工智能评估、自我知识任务 领域

Knowledge Verse AI 本次发布的数据集 Self-Knowledge Tasks, 该数据集包含了由LLM生成的450个可行任务和450个不可行任务，旨在评估可行性边界的一致性以及自我知识类型。此外，数据集还包含了生成任务的提示、可行与不可行任务的示例，以及各种高性能模型的结果。总体规模达到了900个任务，均衡覆盖了不同的自我知识类型。该任务的目的是评估LLM关于可行性边界的自我知识。

查看Self-Knowledge Tasks

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。