Andon Labs 发布 Vending-Bench 数据集, 应用在 人工智能、商业决策 领域

Andon Labs 本次发布的数据集 Vending-Bench, Vending-Bench是一个模拟环境，专为测试基于大型语言模型（LLM）的智能体在长期连贯性方面的能力而设计。智能体需要管理一个简单且长期的商业场景：操作自动售货机。该数据集模拟了智能体与供应商的沟通、客户购买行为等，以评估智能体在长期时间跨度（超过20M tokens的运行）上的持续、连贯决策能力。

查看Vending-Bench

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。