RuleGreen 发布 APPBENCH 数据集, 应用在 自然语言处理、应用程序交互 领域

RuleGreen 本次发布的数据集 APPBENCH, 该数据集名为AppBench，是一个专门用于评估大型语言模型（LLM）在规划和执行来自不同来源的多个API以完成用户任务的能力的基准测试。它旨在解决如图结构、权限限制等挑战。该数据集包含了在多个LLM上的实验结果，揭示了APP和API预测的性能指标，如精确度、召回率和F1分数。任务内容是评估LLM在选择合适的应用程序（App）、选择API以及根据用户指令执行API时填充参数的能力。

查看APPBENCH

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。