Abacus.AI 发布 LiveBench 数据集, 应用在 语言模型、基准测试 领域

Abacus.AI 本次发布的数据集 LiveBench, LiveBench是由Abacus.AI、NYU、Nvidia、UMD和USC联合创建的一个大型语言模型（LLM）基准测试数据集。该数据集包含18个任务，涵盖数学、编程、推理、语言理解、指令遵循和数据分析等多个领域。LiveBench的特点在于其问题基于最新的信息源，如最近的数学竞赛、arXiv论文、新闻文章和数据集，且答案评分自动根据客观事实进行，无需LLM或人工评判。数据集旨在解决传统基准测试中存在的数据污染问题，确保评估的公正性和有效性。

查看LiveBench

关于 Abacus.AI , Abacus.AI 是一家专注于人工智能和机器学习技术的公司，提供先进的AI解决方案和服务。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。