南开大学 发布 TableEG 数据集, 应用在 表格数据清洗、机器学习 领域

南开大学 本次发布的数据集 TableEG, TableEG是一个基于大型语言模型（LLM）的数据清洗技术实用基准测试框架，旨在生成真实的错误。该框架利用表格微调策略和三元组表示（??,??,??）来模拟错误生成、检测和校正任务，以捕获二维表格中的复杂依赖关系。TableEG在跨越10个不同领域的12个现实世界数据集上进行了训练，确保合成的错误真实地反映了真实的错误分布。实验结果表明，TableEG生成的错误与基于规则的方法以及未进行微调的LLM生成的错误相比，具有更优越的模式和分布相似性。此外，在几乎所有数据集和检测算法上，TableEG生成的错误的性能指标与真实世界错误上的性能指标密切相关，特别是对于基于机器学习的检测技术。总体而言，TableEG不仅弥合了合成错误与现实世界错误之间的差距，而且还为后续的错误检测和校正任务建立了一个强大的基准。

查看TableEG

README 内容： 

关于 南开大学 , 南开大学是中国著名的综合性研究型大学，位于天津市，由著名教育家张伯苓先生于1919年创立。该校在多个学科领域都有显著的研究成果，是中国重点支持的大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。