北京航空航天大学发布LoCoEval数据集,应用在代码仓库开发、对话上下文管理领域

北京航空航天大学本次发布的数据集LoCoEval,LoCoEval是首个面向代码仓库开发场景的长时域对话上下文管理基准数据集，由北京航空航天大学团队通过LLM驱动的自动化流程构建。该数据集包含128个样本，分为单跳和多跳两个子集，每个样本平均包含2.5个需求项和50轮对话，上下文总长度达64K~256K tokens，数据源自现有仓库级代码生成数据集的样本扩展。其构建过程模拟了真实开发中的迭代需求、噪声输入和回溯提问等交互模式，支持主题感知、信息项提取和函数生成三类评估任务，旨在解决代码助手在复杂仓库开发场景下的上下文信息丢失与性能退化问题。

查看LoCoEval

关于北京航空航天大学,北京航空航天大学（Beihang University）是中国著名的航空航天高等学府，创建于1952年，由当时的清华大学、北洋大学等八所院校的航空系合并组建而成。学校以航空航天为特色，涵盖工、理、管、文、法、经、哲、教育、医和艺术等多个学科门类，是中国首批进入“211工程”和“985工程”重点建设的高校之一。

关于arXiv,arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。