five
五号数据雷达
产品上架
产权登记
知识产权
公共数据
首页 / 开源数据市场 / 正文

CASABLANCA联合高校发布RESTestBench基准数据集 破解大模型API测试需求对齐度评估难题

五号数据雷达开源数据市场2026-04-30 04:5212
欧洲知名酒店软件服务商CASABLANCA hotelsoftware GmbH联合多所高校研发的REST API测试基准数据集RESTestBench于2026年4月29日首发于arXiv平台,该数据集针对传统API测试指标无法衡量需求对齐度的行业痛点,可支撑大模型生成测试用例的量化评估,为智能化API测试工具的研发提供标准化基准。

当前全球企业数字化转型进入深水区,REST API作为不同系统、不同服务之间数据交互的核心载体,其稳定性直接决定了数字化服务的可用性,API测试也成为软件质量保障环节的核心组成部分。传统API测试长期依赖代码覆盖率等指标衡量测试效果,但随着大模型技术切入软件测试赛道,自动生成测试用例的需求对齐度——即生成的用例是否匹配原始业务需求,成为比代码覆盖率更核心的评估维度,行业长期缺乏标准化的基准数据集支撑相关评测。

近日,欧洲知名酒店业数字化服务商CASABLANCA hotelsoftware GmbH联合多所高校开发的REST API测试基准数据集RESTestBench正式发布,面向REST API测试、智能化测试工具研发等领域开放使用。作为深耕酒店SaaS领域多年的服务商,CASABLANCA在企业级API开发、场景化测试领域拥有大量一线实践经验,本次发布的数据集也充分融合了产业端真实需求。

据公开信息显示,RESTestBench包含3个来自真实业务场景的REST服务、106条经过人工验证的双粒度自然语言需求(精确版与模糊版)以及228条基于需求设计的变异用例。数据集采用通用的OpenAPI规范描述接口,同时配套提供专门的评估框架,支持对大模型生成的测试用例进行基于属性变异测试(PBMT)的量化评估。该基准核心瞄准传统API测试指标(如代码覆盖率)无法衡量需求对齐度的行业痛点,特别适用于验证自然语言需求到可执行测试用例的转换效果,能够为智能化API测试工具的研发、迭代提供统一的验证标准。

从应用价值来看,RESTestBench的落地场景十分广泛:对于大模型厂商而言,可作为代码生成能力尤其是垂直领域测试用例生成能力的标准化评测基准,优化大模型在代码场景下的输出匹配度;对于智能化测试工具研发企业而言,可用于模型训练、效果验证环节,提升工具生成测试用例的业务适配性,降低企业客户的测试成本;对于高校及科研机构而言,也可为软件测试、大模型代码应用等方向的研究提供高质量的真实场景数据支撑。当前全球数据要素市场中,面向垂直技术领域的高质量基准数据集属于核心稀缺资源,RESTestBench的发布不仅填补了大模型时代API测试需求对齐度量化评估的空白,也有望推动API测试领域的效率升级,为企业级SaaS服务、分布式系统的接口稳定性提供更好的保障。

查看RESTestBench

详情页内容:

数据合作广告位

社区讨论

近期热门
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

二维码
关注我们