一 安装docker环境
NVIDIA/Megatron-LM: Ongoing research training transformer models at scale (github.com)
1.1 拉镜像
docker pull nvcr.io/nvidia/pytorch:24.08-py31.2 下载megatron
切换为tag 为core 6的版本
执行命令：
git checkout tag
1.3 复制数据集
数据集格式为：
NVIDIA/Megatron-LM: Ongoing research training transformer models at scale (github.com)
docker pull nvcr.io/nvidia/pytorch:24.08-py3切换为tag 为core 6的版本
执行命令：
git checkout tag
数据集格式为：
道可道，非常道；名可名，非常名。 无名，天地之始，有名，万物之母。 故常无欲，以观其妙，常有欲，以观其徼。 此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。