英伟达开源最强通用模型Nemotron-4 340B

首页 » 英伟达开源最强通用模型Nemotron-4 340B

内容目录

性能超越 Llama-3，主要用于合成数据。

英伟达的通用大模型 Nemotron，开源了最新的 3400 亿参数版本。

本周五，英伟达宣布推出 Nemotron-4 340B。它包含一系列开放模型，开发人员可以使用这些模型生成合成数据，用于训练大语言模型（LLM），可用于医疗健康、金融、制造、零售等所有行业的商业应用。

高质量的训练数据在自定义 LLM 的响应性能、准确性和质量中起着至关重要的作用 —— 但强大的数据集经常是昂贵且难以访问的。通过独特的开放模型许可，Nemotron-4 340B 为开发人员提供了一种免费、可扩展的方式来生成合成数据，从而帮助人们构建强大的 LLM。

Nemotron-4 340B 系列包括基础、Instruct 和 Reward 模型，它们形成了一个 pipeline，用于生成训练和改进 LLM 的合成数据。这些模型经过优化，可与 NVIDIA NeMo 配合使用，后者是一个用于端到端模型训练的开源框架，包括数据管理、定制和评估。它们还针对开源 NVIDIA TensorRT-LLM 库的推理进行了优化。

英伟达表示，Nemotron-4 340B 现已可从 Hugging Face 下载。开发人员很快就能在 ai.nvidia.com 上访问这些模型，它们将被打包为 NVIDIA NIM 微服务，并带有可在任何地方部署的标准应用程序编程接口。

Hugging Face 下载：https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

导航 Nemotron 以生成合成数据

大语言模型可以帮助开发人员在无法访问大型、多样化标记数据集的情况下生成合成训练数据。

Nemotron-4 340B Instruct 模型创建了多样化的合成数据，模仿了现实世界数据的特征，有助于提高数据质量，从而提高自定义 LLM 在各个领域的性能和鲁棒性。

为了提高 AI 生成的数据的质量，开发人员可以使用 Nemotron-4 340B Reward 模型来筛选高质量的响应。Nemotron-4 340B Reward 根据五个属性对响应进行评分：可用性、正确性、连贯性、复杂性和冗长性。它目前在 AI2 创建的 Hugging Face RewardBench 排行榜上名列第一，用于评估奖励模型的能力、安全性和缺陷。

^{在这个合成数据 pipeline 中，（1）Nemotron-4 340B Instruct 模型用于生成基于文本的合成输出。然后，评估模型（2） Nemotron-4 340B Reward 评估生成的文本并提供反馈，从而指导迭代改进并确保合成数据的准确。}

研究人员还可以使用自己的专有数据，结合已包含的 HelpSteer2 数据集，来定制 Nemotron-4 340B 基础模型，从而创建自有的 Instruct 模型或奖励模型。

^{论文地址：https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf}

方法介绍

Nemotron-4-340B-Base 模型架构是一种标准的仅解码器 Transformer 架构，具有因果注意力掩码、旋转位置嵌入 (RoPE)、SentencePiece tokenizer 等。Nemotron-4-340B-Base 的超参数如表 1 所示。它有 94 亿个嵌入参数和 3316 亿个非嵌入参数。

下表为 Nemotron-4-340B-Base 模型的一些训练细节，表中总结了批大小渐变的 3 个阶段，包括每次迭代时间和模型 FLOP/s 利用率。

为了开发强大的奖励模型，英伟达收集了一个包含 10k 人类偏好数据的数据集，称为 HelpSteer2，并公开发布了这个数据集。

数据集地址：https://huggingface.co/datasets/nvidia/HelpSteer2

回归奖励模型 Nemotron-4-340B-Reward 建立在 Nemotron-4-340B-Base 模型之上，并用新的奖励头替换最后的 softmax 层。这个头是一个线性投影，它将最后一层的隐藏状态映射到 HelpSteer 属性（有用性、正确性、连贯性、复杂性、冗长性）的五维向量中。在推理过程中，这些属性值可以通过加权和聚合为总体奖励。这种奖励模式为训练 Nemotron-4-340B-Instruct 提供了坚实的基础。

该研究发现这样的模型在 RewardBench 上表现非常出色：