第一步:创建Notebook模型任务
**step1:**进入BML主页,点击立即使用
🔗:https://ai.baidu.com/bml/
**step2:**点击Notebook,创建“通用任务”
step3:
填写信息并点击完成,注意这里的信息填写要与你在报名时填的信息一致,否则打卡无效。
✅开发者/企业用户则输入公司全称,模型归属选择公司
✅如果还在上学,则输入学校全称,模式归属选择个人
**step4:**填写任务信息
第二步:下载任务操作模板
链接:https://aistudio.baidu.com/aistudio/datasetdetail/121560
第一步:配置Notebook
1.找到昨天创建的Notebook任务,点击配置
- 开发语言:Python3.7
- AI框架:PaddlePaddle2.0.0
- 资源规格:GPU V100
2.打开Notebook
3.上传本次Notebook操作模型
若没来得及下载,请点击链接下载:https://aistudio.baidu.com/aistudio/datasetdetail/121560
第二步:环境准备
1.安装paddlex
!pip install paddlex #安装paddlex
2.安装filelock
!pip install filelock #安装filelock
3.将paddlepaddle升级至2.2.1版本
!pip install paddlepaddle-gpu==2.2.1.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html #升级paadlepaddle-gpu
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4EcV7XMA-1648648364801)(data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==)]
第三步:数据准备
1.下载数据集
!wget -P data/ https://bj.bcebos.com/paddlex/examples2/robot_grab/dataset_manipulator_grab.zip #下载数据集
2.解压数据集
!cd 'data' && unzip -q dataset_manipulator_grab.zip #在data文件夹中解压数据集
3.将数据集转换为MSCOCO格式
!paddlex --data_conversion --source labelme --to MSCOCO --pics data/dataset_manipulator_grab/JPEGImages --annotations data/dataset_manipulator_grab/Annotations --save_dir dataset
4.使用paddlex进行数据切分
将训练集、验证集和测试集按照7:2:1的比例划分
!paddlex --split_dataset --format COCO --dataset_dir dataset --val_value 0.2 --test_value 0.1
数据文件夹切分前后的状态如下:
dataset/ dataset/
├── JPEGImages/ --> ├── JPEGImages/
├── annotations.json ├── annotations.json
├── test.json
├── train.json
├── val.json
第四步:保存Notebook并关闭、停止运行
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jW8DHY4y-1648648364806)(data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==)]
提示:Notebook一旦运行即会开始计费,如果不用请及时停止!以免浪费免费额度
截图示例:
第一步:重新安装环境
1.启动Notebook并打开
2.重新执行三条安装命令
第二步:模型训练
1.调用paddlex
import paddlex as pdxfrom paddlex
import transforms as T
2.定义训练和验证时的transforms
API说明:https://github.com/PaddlePaddle/PaddleX/blob/release/2.0-rc/paddlex/cv/transforms/operators.py
train_transforms = T.Compose([ T.RandomResizeByShort( short_sizes=[640, 672, 704, 736, 768, 800], max_size=1333, interp='CUBIC'), T.RandomHorizontalFlip(), T.Normalize( mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])])
eval_transforms = T.Compose([ T.ResizeByShort( short_size=800, max_size=1333, interp='CUBIC'), T.Normalize( mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])])
3.定义训练和验证所用的数据集
API:https://github.com/PaddlePaddle/PaddleX/blob/develop/paddlex/cv/datasets/coco.py#L26
train_dataset = pdx.datasets.CocoDetection( data_dir='dataset/JPEGImages',
ann_file='dataset/train.json',
transforms=train_transforms,
shuffle=True)
eval_dataset = pdx.datasets.CocoDetection( data_dir='dataset/JPEGImages',
ann_file='dataset/val.json',
transforms=eval_transforms)
4.初始化模型
可使用VisualDL查看训练指标,参考https://github.com/PaddlePaddle/PaddleX/tree/release/2.0-rc/tutorials/train#visualdl可视化训练指标
num_classes = len(train_dataset.labels)
model = pdx.det.MaskRCNN(
num_classes=num_classes, backbone='ResNet50', with_fpn=True)
5.训练参数配置,并开始训练
API说明:https://github.com/PaddlePaddle/PaddleX/blob/release/2.0-rc/paddlex/cv/models/detector.py#L155
各参数介绍与调整说明:https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.html
model.train(
num_epochs=10,
train_dataset=train_dataset,
train_batch_size=1,
eval_dataset=eval_dataset,
learning_rate=0.00125,
lr_decay_epochs=[8, 11],
warmup_steps=10,
warmup_start_lr=0.0,
save_dir='output/mask_rcnn_r50_fpn',
use_vdl=True)
第三步:保存Notebook并关闭、停止运行
提示:Notebook一旦运行即会开始计费,如果不用请及时停止!以免浪费免费额度
领取3000元代金券:
https://ai.baidu.com/easydl/universal-gravitation
![图片]