【LMDeploy 大模型量化部署实践】学习笔记 - 悦读

【LMDeploy 大模型量化部署实践】学习笔记

参考学习教程【LMDeploy 的量化和部署】

理论

在这里插入图片描述

作业

使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事

本地对话

在这里插入图片描述

API服务

Client 命令

在这里插入图片描述

端口转发

在这里插入图片描述

网页Gradio

在这里插入图片描述

悦读

道可道，非常道；名可名，非常名。无名，天地之始，有名，万物之母。故常无欲，以观其妙，常有欲，以观其徼。此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。

网络安全入门（持续更新）

【TMM2024】Frequency-Guided Spatial Adaptation for Camouflaged Object Detection

操作系统课设——存储管理

HT for Web 实现拓扑图、组态图等2d，3d效果

【记录】写了一段java字符串裁剪，可将“,“裁剪成两个空字符串数组

SpringBoot集成日志框架

bootstrap经典网页布局_无从下手？也许你该从这五种经典网页布局开始设计！

nlohmann json C++ 解析

java 自动加密解密RequestBodyAdvice和RequestBodyAdvice

Python3基础（十二）学习总结·附PDF

;