字节跳动 发布 MIR-Bench 数据集, 应用在 多示例学习、模型评估 领域

字节跳动 本次发布的数据集 MIR-Bench, MIR-Bench是一个大规模、多样化的多示例归纳推理基准数据集，由字节跳动公司提出。该数据集通过从现有的编码基准中收集函数，使用GPT-4o-0806编写数据生成器，产生输入输出对，进而构建而成。数据集包含6930个问题，涵盖了多种输入输出格式，能够测试大型语言模型在处理长上下文和多样数据格式时的归纳推理能力。

查看MIR-Bench

关于 字节跳动 , 字节跳动是一家全球领先的科技公司，总部位于中国北京，主要产品包括抖音、今日头条等。公司致力于通过技术创新，提供个性化内容推荐服务，并在全球范围内拥有广泛的用户基础。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。