CISPA Helmholtz Center for Information Security 发布 PeerBench 数据集, 应用在 AI评估、安全性与可信度 领域

CISPA Helmholtz Center for Information Security 本次发布的数据集 PeerBench, PeerBench是一个社区治理的AI评估平台，旨在通过密封执行、滚动更新的项目库和延迟透明度来提高安全性和可信度。该平台旨在作为开放基准的补充，而非替代品，提供了一个证书级的评估层次。PeerBench的核心特点包括：统一的治理框架、综合性的任务覆盖、实时的一致性、质量控制等，旨在解决当前AI评估中的数据污染、选择性报告、测试数据偏差、数据集收集、指标噪声、私有基准的受限访问、缺乏公平性和监考等问题。

查看PeerBench

关于 CISPA Helmholtz Center for Information Security , 德国亥姆霍兹信息安全中心（CISPA）是德国领先的信息安全研究机构之一，专注于网络安全、隐私保护、以及相关法律和社会影响的研究。它位于德国萨尔州，致力于通过科学研究和国际合作提高数字世界的安全性。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。