写在前面
第二次参加OpenMMLab举行的AI实战营活动啦，有幸担任七班班长和上一期1班同学做搭档（卫同学是我的助教大人，星星眼！）。
开营仪式后，同济子豪兄概述了OpenMMLab和其下的各开源算法库。
高能提醒：文末有彩蛋！！
B站视频链接：入门计算机视觉神器OpenMMLab
目录
下面是会首先放上本次课的课程安排，然后是笔记正文，同班的同学们一起加油鸭！
课程安排
OpenMMLab总体框架与现状
发展历程如下，OpenMMLab基于pytorch，支持主流CV算法框架，主要底层视觉库是MMCV和MMEngine，主要部署框架为MMDeploy
这里插播下别的小伙伴做的知识导图
OpenMMLab Family
本次课程要用到的库
- MMPose: OpenMMLab pose estimation toolbox and benchmark.
- MMPreTrain: OpenMMLab Pre-training Toolbox and Benchmark.
- MMDetection: OpenMMLab detection toolbox and benchmark.
- MMSegmentation: OpenMMLab semantic segmentation toolbox and benchmark.
- MMagic: OpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox.
三个底层库，
- MMEngine: OpenMMLab foundational library for training deep learning models.
- MMCV: OpenMMLab foundational library for computer vision.
- MIM: MIM installs OpenMMLab packages.
很感兴趣的部署库，还没尝试使用过
- MMDeploy: OpenMMLab model deployment framework.
其他库
- MMDetection3D: OpenMMLab's next-generation platform for general 3D object detection.
- MMRotate: OpenMMLab rotated object detection toolbox and benchmark.
- MMOCR: OpenMMLab text detection, recognition, and understanding toolbox.
- MMHuman3D: OpenMMLab 3D human parametric model toolbox and benchmark.
- MMSelfSup: OpenMMLab self-supervised learning toolbox and benchmark.
- MMRazor: OpenMMLab model compression toolbox and benchmark.
- MMFewShot: OpenMMLab fewshot learning toolbox and benchmark.
- MMAction2: OpenMMLab's next-generation action understanding toolbox and benchmark.
- MMTracking: OpenMMLab video perception toolbox and benchmark.
- MMFlow: OpenMMLab optical flow toolbox and benchmark.
主要CV库介绍
MMDetection V3
MMSegmentation
MMPretrain （最新发布）
MMPreTrain 是一款基于 PyTorch 的开源深度学习预训练工具箱，是 OpenMMLab 项目的成员之一，以下内容引自MMPretrain文档
主分支代码目前支持 PyTorch 1.8 以上的版本。
主要特性
- 支持多样的主干网络与预训练模型
- 支持多种训练策略（有监督学习，无监督学习，多模态学习等）
- 提供多种训练技巧
- 大量的训练配置文件
- 高效率和高可扩展性
- 功能强大的工具箱，有助于模型分析和实验
- 支持多种开箱即用的推理任务
- 图像分类 (lmage Classification )
- 图像描述（Image Caption）
- 视觉问答（Visual Question Answering）
- 视觉定位（Visual Grounding）
- 检索（图搜图，图搜文，文搜图 Retrieval,lmage-To-lmage, Text-To-lmage,lmage-To-Text)
MMpose 以及RTMPose
姿态估计算法库与高精度姿态估计
MMagic
OpenMMLab 生成模型+底层视觉+AIGC算法库 【以下内容来自概述 — MMagic 文档】
MMagic (Multimodal Advanced, Generative, and Intelligent Creation)
是一个供专业人工智能研究人员和机器学习工程师去处理、编辑和生成图像与视频的开源 AIGC 工具箱
MMagic 支持各种基础生成模型，包括：
-
无条件生成对抗网络 (GANs)
-
条件生成对抗网络 (CGANs)
-
内部学习、扩散模型、还有许多其他生成模型即将推出！
MMagic 支持各种应用程序，包括：
-
图文生成 、图像翻译、3D 生成、图像超分辨率、视频超分辨率、
-
视频插帧、图像补全、图像抠图、图像修复、图像上色、图像生成
MMDeploy 模型终端部署
MMDeploy 是 OpenMMLab 模型部署工具箱，为各算法库提供统一的部署体验。
基于 MMDeploy，开发者可以轻松从训练 repo 生成指定硬件所需 SDK，省去大量适配时间。
人工智能模型部署应用场景要求：快速实时、本地终端、硬件多样、算力薄弱、数据隐私
硬件
PC、浏览器、手机APP、微信小程序、服务器嵌入式开发板
无人车、无人机、Jetson Orin Nano、树派、机械臂、物联网设备
芯片
CPU、GPU、TPU、NPU、VPU、DSP、FPGA......
厂商
英特尔、英伟达、AMD、苹果、高通、异腾、麒麟、瑞芯微......
近期动态
最近在玩Stable Diffusion，以后配图就靠它了，感兴趣的小伙伴可以踢我！
目前只是使用别人训练的模型来控制prompt生成，真的很好玩呀
点赞，评论可以和我要原图，欧耶！
其他链接
下面附上个人知乎的上次有关笔记，希望可以帮到小伙伴们！
【OpenMMLab 实战营打卡 - 第 1 课】 - 知乎
【OpenMMLab 实战营打卡 - 第 2 课】 - 知乎
【OpenMMLab 实战营打卡 - 第 3 课】 - 知乎
OpenMMLab 实战营打卡 - 【第 4 课】 - 知乎
OpenMMLab 实战营打卡 - 【第 5 课】 - 知乎