乌班图安装kvm并配置网络

乌班图22安装KVM 1.安装KVM sudo apt install qemu qemu-kvm libvirt-daemon-system libvirt-clients bridge-uti

Dubbo 集成 ZooKeeper 注册中心实现服务调用

Dubbo 是基于Java的开源的RPC的分布式服务框架，目前是 Apache 项目。 推荐使用 ZooKeeper 做注册中心，当然也可以支持 Redis， Multicast 和Simple。

Dubbo学习笔记4-常用功能

Dubbo学习笔记4-常用功能 1. 启动时检查2. 性能优化2.1 集群容错Failover模式FailFast模式Failsafe模式Failback模式Forking模式Broadcast模

dubbo的zk存储结构、线程模型、集群容错图解

目录 zk存储结构 线程模型 集群容错 zk存储结构 dubbo在zookeeper的存储结构如下图， 其中流程大致分为： 1.消费者启动时在对应的servce目录下注册自己的ip节

Dubbo 服务本地缓存

开篇 根据官方图，dubbo调用者需要通过注册中心（例如：ZK）注册信息，获取提供者，但是如果频繁往ZK获取信息，肯定会存在单点故障问题，所以dubbo提供了将提供者信息缓存在本地的方法。 Du

Zookeeper、Apache Dubbo

Zookeeper zookeeper概述 ZooKeeper从字面意思理解，【Zoo - 动物园，Keeper - 管理员】动物园中有很多种动物，这里的动物就可以比作分布式环境下多种多样的服务，而

Dubbo与Zookeeper简单上手

理论 在《分布式系统原理与范型》一书中有如下定义:“分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统 ”; 分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作

Dubbo04【Zookeeper存储数据的数据信息】，mybatis对象关系映射原理

Consumers 存储服务消费者信息 | 属性 | 描述 | | — | :-- | | application | 应用名 | | category | 类型 | | chec

已成功转行

程序员工作5年，已成功转行，望广大程序员同胞成功上岸。

double+zookeeper

1. dubbo框架是什么 分布式框架，解决大量访问请求 是alibaba旗下的产品，后来交给apache基金会维护管理 dubbo核心底层技术实现用的是Hessian，相比WebService

LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】

最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的

NVIDIA Megatron-LM: 大规模transformer模型训练研究

NVIDIA Megatron-LM: 大规模transformer模型训练研究 Megatron-LM Ongoing research training transformer model

LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】

前言 目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Go

Megatron-LM：万亿模型并行训练，经典必读论文

摘要 大型语言模型在多个任务领域已展现出前所未有的高精度，但训练这些庞然大物却困难重重。首先，GPU内存容量有限，即便是多GPU集群也难以承载如此庞大的模型；其次，训练所需的海量计算资源，使得训练周

【论文阅读】Megatron-LM要点

Megatron-LM论文要点 本文主要是对李沐老师的b站分享做一下自己的理解和总结。 李沐老师b站分享 模型结构无非就是那样，相比而言，想要训练更大的模型而又能平稳进行，是一项非常高超的技术！