圣达菲研究所 发布 ConceptARC 数据集, 应用在 抽象推理、AI评估 领域

圣达菲研究所 本次发布的数据集 ConceptARC, ConceptARC是由圣达菲研究所创建的一个公开可用的ARC领域基准数据集，旨在系统评估抽象和泛化能力。该数据集围绕16个基本空间和语义概念组织，每个概念包含10个任务，每个任务有三个不同的测试输入，总计480个测试输入。ConceptARC的设计旨在依赖于核心概念的直接实例，并系统评估任务解算器对特定概念的理解程度，以便能够泛化。数据集的应用领域是评估人类和AI系统在抽象推理和概念泛化方面的能力，旨在推动AI系统在概念抽象方面的发展和有效评估。

查看ConceptARC

README 内容： 

关于 圣达菲研究所 , 圣达菲研究所（Santa Fe Institute）是一个位于美国新墨西哥州圣达菲的跨学科研究机构，专注于复杂系统科学的研究。该研究所成立于1984年，致力于推动对复杂性、自组织和适应性系统的理解，涉及领域包括物理学、生物学、经济学和社会科学等。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。