德国汉诺威TIB科技信息中心 发布 YESciEval 数据集, 应用在 语言模型评估、科学问答 领域

德国汉诺威TIB科技信息中心 本次发布的数据集 YESciEval, YESciEval是一个开源框架，旨在通过细粒度的评分标准和强化学习来减少LLM评估器的乐观偏差。该框架发布了一个多学科的科学问答数据集，包括对抗性变体，以及来自多个LLM的评估分数。这些数据集不依赖于专有模型和人类反馈，支持可扩展且无需成本的评价。通过推进可靠的LLM-as-a-judge模型，这项工作支持AI一致性，并促进了对科学研究和通用人工智能至关重要的鲁棒、透明的评价。

查看YESciEval

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。