东南大学 发布 FIXME 数据集, 应用在 硬件功能验证、人工智能模型评估 领域

东南大学 本次发布的数据集 FIXME, FIXME是一个端到端的、多模型的开源评估框架，用于评估大型语言模型在硬件功能验证（FV）方面的性能。该框架包含六个子领域和180个多样化的任务，采用三层难易度等级，覆盖了从规范理解到调试的整个硬件验证流程。数据集由100%经过硅验证的设计构建，并通过专家引导优化，功能覆盖率提高了45.57%。FIXME旨在解决现代硬件设计中功能验证这一关键瓶颈问题，并推动基于大型语言模型的设计自动化研究。

查看FIXME

README 内容： 

关于 东南大学 , 东南大学是中国的一所综合性大学，位于江苏省南京市。学校设有多个学院，涵盖工学、理学、管理学等多个学科领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。