Salesforce AI Research 发布 JETTS Benchmark 数据集, 应用在 自然语言处理、人工智能评估 领域

Salesforce AI Research 本次发布的数据集 JETTS Benchmark, JETTS Benchmark是由Salesforce AI Research创建的数据集，用于评估LLM-judges在测试时间扩展中的性能。该数据集包括三个任务：响应重排、步骤级束搜索和基于批评的响应精炼。涵盖数学推理、代码生成和指令遵循三个领域，包含多个子数据集。数据集通过模拟三种不同的测试时间扩展场景，评估LLM-judges对生成器模型的改进效果。

查看JETTS Benchmark

README 内容： 

关于 Salesforce AI Research , Salesforce AI Research是Salesforce公司下属的人工智能研究部门，致力于推动机器学习和深度学习领域的科学研究，并将这些研究成果应用于Salesforce的产品中，以提升客户服务和企业自动化水平。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。