复旦大学 发布 RMB-Reward-Model-Benchmark 数据集, 应用在 自然语言处理、模型校准 领域

复旦大学 本次发布的数据集 RMB-Reward-Model-Benchmark, RMB-Reward-Model-Benchmark是由复旦大学NLP组创建的一个综合性的奖励模型基准数据集，旨在评估和优化大型语言模型（LLMs）的校准。该数据集涵盖了49个真实世界的场景，包含超过18,000个高质量的偏好对，用于测试奖励模型在不同任务中的泛化能力和校准效果。数据集的创建过程包括从真实用户查询中精心选择提示，并使用14个LLMs生成多样化的响应，通过GPT-4进行评分和偏好对构建。该数据集主要应用于评估和改进奖励模型在LLMs校准中的表现，旨在解决模型在不同场景下的泛化缺陷和校准问题。

查看RMB-Reward-Model-Benchmark

README 内容： 

关于 复旦大学 , 复旦大学是中国的一所综合性研究型大学，以其在多个学科领域的卓越表现和研究成果享誉全球。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。