中山大学发布AI-NativeBench数据集,应用在AI原生系统、基准测试领域

中山大学本次发布的数据集AI-NativeBench,AI-NativeBench是由中山大学和香港中文大学联合开发的首个面向AI原生系统的白盒基准测试套件，包含8个跨3个领域的应用程序及21个系统变体。该数据集基于Model Context Protocol (MCP)和Agent-to-Agent (A2A)标准构建，通过分布式追踪技术实现细粒度性能分析，揭示了参数悖论、推理主导性等传统指标无法捕捉的工程现象。数据集旨在解决AI原生系统从模型能力评估到工程可靠性设计的转型需求，适用于分布式AI系统、多智能体协作等研究领域。

查看AI-NativeBench

Dataset card内容：

Files and versions内容：

关于中山大学,中山大学是中国广东省一所综合性研究型大学，由孙中山先生于1924年创办，是国家“双一流”建设高校之一，以医学、经济学、管理学、法学等学科见长。

关于arXiv,arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。