乔治亚理工学院 发布 MLE-Dojo 数据集, 应用在 机器学习工程、自然语言处理 领域

乔治亚理工学院 本次发布的数据集 MLE-Dojo, MLE-Dojo是一个基于Kaggle竞赛构建的互动式环境，旨在为机器学习工程中的大型语言模型(LLM)代理提供系统化的强化学习、评估和改进工具。该数据集包含200多个真实世界的Kaggle挑战，涵盖了数据处理、架构搜索、超参数调整和代码调试等多种开放式的MLE任务。MLE-Dojo提供了一个完全可执行的互动环境，支持监督微调和强化学习，以便进行迭代实验、实际数据采样和实时结果验证。通过大规模评估八个前沿LLM，MLE-Dojo揭示了当前模型在生成长期解决方案和高效解决复杂错误方面的局限性。MLE-Dojo的灵活和可扩展架构无缝地整合了多种数据源、工具和评估协议，促进了基于模型的代理调整，并推动了互操作性、可扩展性和可重复性。数据集旨在解决机器学习工程中的挑战，并通过开源框架和基准来推动社区驱动的创新，以开发下一代MLE代理。

查看MLE-Dojo

README 内容： 

关于 乔治亚理工学院 , 乔治亚理工学院（Georgia Institute of Technology），简称Georgia Tech，是美国一所闻名世界的研究型大学，位于美国佐治亚州的首府亚特兰大。该校成立于1885年，以工程学闻名，尤其在计算机科学、航空航天、工业工程等领域享有很高的声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。