中国科学院计算技术研究所 发布 RealBench 数据集, 应用在 硬件设计自动化、机器学习评估 领域

中国科学院计算技术研究所 本次发布的数据集 RealBench, RealBench是一个面向真实世界IP级别的Verilog代码生成任务的基准数据集。该数据集包含复杂的开源IP设计，具有多模态和格式化的设计规范，以及严格的验证环境，包括100%行覆盖率的测试平台和一个形式化验证器。它支持模块级和系统级任务，使LLM的能力得到全面的评估。该数据集旨在解决现有基准在真实世界设计工作流程中无法复制的局限性，例如设计简单、设计规范不足、验证环境不严格等。RealBench的创建过程基于对现有基准的不足分析，旨在提供更接近真实世界设计工作流程的评估环境。该数据集的应用领域包括硬件设计自动化，旨在解决LLM在Verilog代码生成任务中的性能问题。

查看RealBench

README 内容： 

关于 中国科学院计算技术研究所 , 中国科学院计算技术研究所（ICT）成立于1956年，是中国最早从事计算机科学技术综合性研究的学术机构。该所致力于计算机科学理论、高性能计算、人工智能、网络与信息安全等领域的研究，培养了大批计算机领域的专家和学者，为中国计算机科学技术的发展做出了重要贡献。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。