马里兰大学 发布 NETPRESS 数据集, 应用在 自然语言处理、网络性能评估 领域

马里兰大学 本次发布的数据集 NETPRESS, NETPRESS是一个为评估在现实世界网络应用中的大型语言模型（LLM）代理而设计的自动基准生成框架。该框架引入了状态和动作的统一抽象，支持动态生成多样化的查询集和相应的真实值。用户可以在运行时指定基准配置，以即时生成数百万个查询。除了动态基准构建外，NETPRESS还与网络模拟器集成，以提供真实的环境反馈，支持在正确性、安全性和延迟方面的全面评估。该框架在三个具有代表性的网络应用中进行了实例化，揭示了代理行为中细微的差异，这是静态的、仅正确性基准通常无法发现的。NETPRESS将LLM评估推向现实、可扩展的基础设施中心领域的测试，有助于缩小基准性能和现实世界部署准备之间的差距。

查看NETPRESS

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。