double+zookeeper

1. dubbo框架是什么 分布式框架，解决大量访问请求 是alibaba旗下的产品，后来交给apache基金会维护管理 dubbo核心底层技术实现用的是Hessian，相比WebService

LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】

最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的

NVIDIA Megatron-LM: 大规模transformer模型训练研究

NVIDIA Megatron-LM: 大规模transformer模型训练研究 Megatron-LM Ongoing research training transformer model

LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】

前言 目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Go

Megatron-LM：万亿模型并行训练，经典必读论文

摘要 大型语言模型在多个任务领域已展现出前所未有的高精度，但训练这些庞然大物却困难重重。首先，GPU内存容量有限，即便是多GPU集群也难以承载如此庞大的模型；其次，训练所需的海量计算资源，使得训练周

【论文阅读】Megatron-LM要点

Megatron-LM论文要点 本文主要是对李沐老师的b站分享做一下自己的理解和总结。 李沐老师b站分享 模型结构无非就是那样，相比而言，想要训练更大的模型而又能平稳进行，是一项非常高超的技术！

Megatron-LM

Megatron-LM [NLP-MEGATRON1] 是由 NVIDIA 的应用深度学习研究团队开发的大型、强大的转换器。与 BERT 不同的是，层归一化和残差连接在模型架构（类似于 GPT-2 架

[论文笔记] Megatron LM环境安装

CUDA12,python3.10!! 代码：GitHub - alibaba/Pai-Megatron-Patch: The official repo of Pai-Megatron-Patch

java.lang.IllegalArgumentException: ContextPath must start with ‘/‘ and not end with ‘/‘

属性漏了/ server.servlet.context-path=/test

Error creating bean with name 'tomcatServletWebServerFactory'

原因：application.properties文件内容格式错误，导致无法正确解析。

easyui排版布局遮罩层

利用datagrid的mask，实现遮罩层，程序中使用排版布局和非排版布局皆适用。 示例下载 easyui布局，此处部分代码，其中【操作区】在示例中不做遮罩，整体效果图如下： 完整代码 &

nested exception is java.lang.IllegalArgumentException: ContextPath must start with ‘/‘ and not end

Unable to start web server; nested exception is org.springframework.beans.factory.BeanCreationExcept

Java图片背景颜色变透明

Java图片背景颜色变透明 说明效果处理前处理后 说明 话不多说，直接上工具类，类中提供了方法 noBackground() 对图片背景色是否透明进行判断。 imageToPng

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'entityManage

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'entityMa

springboot2.x mybatis 多数据库开发

springboot+mybatis 多类型数据库+多数据源开发 前言项目支持application.properties配置mybatis-config.xml全局配置数据库类型配置(DataS