https://github.com/NVIDIA/Megatron-LM
- 总 Star 数量
- 17.2k
- 最近更新时间
- 2026-07-28
- 开源时间
- 2019-03-21
项目描述
NVIDIA Megatron-LM 用于大规模训练 Transformer 模型，包含参考示例和 GPU 优化库 Megatron Core。它支持张量、流水线等多种并行策略，提供混合精度训练和模块化构建块，既适合研究团队快速实验，也便于工程师构建自定义训练流水线。
2026.07.22–2026.07.28
2026.07.22–2026.07.28
NVIDIA Megatron-LM 用于大规模训练 Transformer 模型，包含参考示例和 GPU 优化库 Megatron Core。它支持张量、流水线等多种并行策略，提供混合精度训练和模块化构建块，既适合研究团队快速实验，也便于工程师构建自定义训练流水线。