书生·浦语大模型实战营-学习笔记5 - 悦读

书生·浦语大模型实战营-学习笔记5

LMDeploy 大模型量化部署实践

在这里插入图片描述

在这里插入图片描述

大模型部署背景

在这里插入图片描述

LMDeploy简介

轻量化、推理引擎、服务
在这里插入图片描述

核心功能-量化

显存消耗变少了
在这里插入图片描述

大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder

先把数据量化为INT4存起来，算的时候会反量化为FP16
在这里插入图片描述
AWQ算法：观察到模型在推理过程中，只有一小部分参数是重要的参数，这部分参数不量化，其他的参数量化，这样保留了显存，性能也不会下降多少

核心功能-推理引擎

在这里插入图片描述
不用等到整个batch结束

在这里插入图片描述

在这里插入图片描述

核心功能-推理服务api server

在这里插入图片描述

动手实践环节

https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

悦读

道可道，非常道；名可名，非常名。无名，天地之始，有名，万物之母。故常无欲，以观其妙，常有欲，以观其徼。此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。

互联网常见简称

深度学习（十六）——Faster R-CNN, YOLO

[CA] 理解 core.cpp

《Python进阶系列》十六：详解Python中的正则表达式

MYSQL performance schema详解

12.10深度学习_经典神经网络_GoogleNet自我理解

SSM网约车管理系统毕业设计-附源码051630

【热门主题】000067 React前端框架：探索高效Web开发之路

Notepad++ 替换所有数字给数字加单引号

目标检测：yolov8(ultralytics)训练自己的数据集，新手小白也能学会训练模型，一看就会

;