tokyotech-llm 发布 lmsys-chat-1m-synth 数据集, 应用在 对话生成、多语言处理 领域

tokyotech-llm 本次发布的数据集 lmsys-chat-1m-synth, LMSYS-Chat-1M-Synth-Llama3.1-Ja-and-En 是一个日语和英语的合成对话数据集，源自 LMSYS-Chat-1M 数据集。它包括由 Llama 3.1 405B Instruct 生成的用户指令和助手响应。日语部分包含从原始数据集翻译的用户指令和由 Llama 3.1 合成的助手响应。英语部分使用原始的用户指令和相应的助手响应。数据集还包括由 Llama 3.1 70B Instruct 注释的偏好分数。访问日语翻译需要同意 LMSYS-Chat-1M 数据集许可协议，并使用提供的密钥解密数据。助手响应根据 LLAMA 3.1 社区许可协议分发。

查看lmsys-chat-1m-synth

Dataset card 内容： 

Files and versions 内容： 

关于 tokyotech-llm , tokyotech-llm 是一个在 Hugging Face 平台上活跃的组织，专注于开发和分享大型语言模型，如 Llama-3-Swallow 系列，这些模型支持文本生成任务，并定期更新以提升性能和应用范围。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。