OpenHermesPreferences数据集，由Argilla与Hugging Face H4团队协作创建，包含约100万条AI偏好数据。该数据集基于Teknium的高质量OpenHermes-2.5数据集，融合了Mixtral-8x7B-Instruct-v0.1和Nous-Hermes-2-Yi-34B模型的反馈，采用PairRM模型对输出进行评分和排名。该数据集可用于训练偏好模型或通过直接偏好优化等技术对齐语言模型。
数据集地址：https://huggingface.co/datasets/argilla/OpenHermesPreferences
_1769672084863.jpg)