最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。
Megatron-LM 代码版本：23.06
Megatron-LM 近期的改动16 赞同 · 2 评论文章
1. 导读
NVIDIA Megatron-LM
最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。
Megatron-LM 代码版本：23.06
Megatron-LM 近期的改动16 赞同 · 2 评论文章
NVIDIA Megatron-LM
道可道，非常道；名可名，非常名。 无名，天地之始，有名，万物之母。 故常无欲，以观其妙，常有欲，以观其徼。 此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。