Nemotron-CLIMB代理模型快速入门：5步掌握62M和350M模型部署

Nemotron-CLIMB代理模型快速入门5步掌握62M和350M模型部署【免费下载链接】nemotron-climb-proxy-models项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/nemotron-climb-proxy-modelsNemotron-CLIMB Proxy Base Models62M和350M是NVIDIA从零开始预训练的两款小型解码器仅 transformer 语言模型它们在10万亿 tokens 上使用 Megatron-LM 代码库进行训练专为缩放定律研究设计能让从业者在投入全面计算资源前预测更大模型的行为。1. 了解Nemotron-CLIMB代理模型Nemotron-CLIMB Proxy Models 是两款小型解码器-only transformer 语言模型由 NVIDIA 基于10万亿 tokens 预训练而成。它们作为缩放定律研究的代理模型可帮助研究人员预测大型模型行为验证超参数选择进行代理调优研究以及训练轻量级奖励模型。模型架构与参数两款模型均采用32层解码器-only transformer 架构具有 RMSNorm、SwiGLU 激活和 Rotary Position EmbeddingsRoPE仅隐藏维度不同。VariantParametersLayersCheckpoint Size62M62 million32~837 MB350M350 million32~4.5 GB2. 准备环境硬件要求GPUNVIDIA AmpereA100、HopperH100、H200、LovelaceL40SCPU鉴于模型较小也可在 CPU 上进行推理软件要求操作系统Linux运行时引擎Megatron-LM原生检查点格式、HuggingFace Transformers转换后3. 获取模型克隆仓库执行以下命令克隆项目仓库git clone https://gitcode.com/hf_mirrors/nvidia/nemotron-climb-proxy-models模型文件位置克隆完成后模型检查点位于以下路径62M模型nemotron_climb_proxy_model_62m/iter_2499000/mp_rank_00/model_optim_rng.pt350M模型nemotron_climb_proxy_model_350m/iter_2384053/mp_rank_00/model_optim_rng.pt4. 模型转换可选如果需要使用 HuggingFace Transformers 进行推理可将模型转换为 HuggingFace Transformers 格式。转换过程可参考 Megatron-LM 官方文档中关于模型转换的相关内容。5. 模型部署与使用使用 Megatron-LM 部署安装 Megatron-LM按照官方文档说明安装 Megatron-LM 框架。加载模型使用 Megatron-LM 提供的加载工具指定模型检查点路径加载模型。进行推理根据具体需求使用 Megatron-LM 提供的推理接口进行模型推理。使用 HuggingFace Transformers 部署转换后安装 Transformers确保已安装 HuggingFace Transformers 库。加载转换后的模型使用 Transformers 的AutoModelForCausalLM等类加载转换后的模型。进行推理调用模型的生成方法进行文本生成等推理任务。模型应用场景Nemotron-CLIMB Proxy Models 主要面向 ML 研究人员和工程师适用于以下场景缩放定律实验从小型模型趋势预测大型模型的损失、下游准确性或涌现行为。配方迁移在低成本下验证超参数选择学习率、批大小、数据混合然后再进行扩展。代理调优研究研究微调动态SFT、RLHF、DPO如何跨模型尺度迁移。奖励模型代理训练为对齐研究训练轻量级奖励模型。注意事项模型输出为原始的下一个 token 概率分布由于是基础模型未经过对齐或指令微调可能会产生未过滤的文本。在将模型集成到 AI 系统中时需要使用特定于用例的数据进行额外测试以确保安全有效的部署。请遵守 NVIDIA Open Model License 的条款使用模型。【免费下载链接】nemotron-climb-proxy-models项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/nemotron-climb-proxy-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考