Bootstrap

Prometheus+grafana实践:Doris数据库的监控

文章来源:乐维社区

Doris数据库背景

Doris(Apache Doris)是一个现代化的MPP(Massive Parallel Processing,大规模并行处理)数据库,主要用于在线分析处理(OLAP)场景。

Doris数据库的特点

高性能:Doris采用了列式存储和MPP架构,能够对海量数据进行快速查询。
易用性:提供了类似SQL的查询接口,易于上手和使用。
实时性:支持实时数据更新和查询,适用于实时数据分析场景。
兼容性:支持多种数据源接入,如MySQL、Apache Hive、Apache HDFS等。
高可用:支持集群部署,具有容错和自动恢复功能。

Doris数据库的架构

前端:FE(Frontend)节点负责接收查询请求、查询解析、查询计划生成和执行。
后端:BE(Backend)节点负责数据存储、查询执行和数据导入等操作。
元数据管理:采用分布式元数据管理,保证了系统的高可用性和扩展性。

Doris数据库的部署

对于Doris数据库的架构方式分为前端和后端的方式,因此我们要分别部署前端和后端两部分。
准备4核心+4G内存+10G硬盘的centos7 X86的Linux虚拟机。

1.拉取Doris数据库的安装包
Wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.12-bin-x64.tar.gz在这里插入图片描述
2.解压安装包到/usr/local/目录下
tar xzvf apache-doris-2.0.12-bin-x64.tar.gz -C /usr/local/在这里插入图片描述

3.给安装目录重新命名
mv apache-doris-2.0.12-bin-x64 apache-doris在这里插入图片描述
4.在目录下分为3部分在这里插入图片描述
5.安装Doris数据库需要jdk8的环境
yum install -y java-1.8.0-openjdk.x86_64在这里插入图片描述
6.部署fe
vim fe/conf/fe.conf在这里插入图片描述
7.加上fe的jdk的环境变量在这里插入图片描述
8.启动fe
./bin/start_fe.sh --daemon在这里插入图片描述
9.部署be
vim be/conf/be.conf在这里插入图片描述
10.加上be的jdk的环境变量在这里插入图片描述
11.启动be在这里插入图片描述
12.启动be时需要执行三条命令
sysctl -w vm.max_map_count=2000000
ulimit -n 60000
swapoff -a
13.在mysql官网中下载mysql的客户端(Doris数据库需要使用mysql客户端进行连接)
14.连接Doris数据库的fe
mysql -uroot -P9030 -h127.0.0.1在这里插入图片描述
15.将be添加到集群
ALTER SYSTEM ADD BACKEND “be_host_ip:heartbeat_service_port”;(自己主机IP加上默认端口9050)在这里插入图片描述
16.修改root密码和admin密码
SET PASSWORD FOR ‘root’ = PASSWORD(‘p@ssw0rd’);
SET PASSWORD FOR ‘admin’ = PASSWORD(‘p@ssw0rd’);
17.Doris数据库部署完成
部署prometheus并监控Doris数据库
1.在官网中下载prometheus的安装包
https://prometheus.io/download/
2.解压tar包
tar xzvf prometheus-3.0.1.linux-amd64.tar.gz 在这里插入图片描述
3.修改prometheus.yml配置文件监控Doris数据库
vim prometheus.yml在这里插入图片描述
4.Doris数据库自带metrics的接口,prometheus可以直接拿取数据,不用安装export
5.设置metrics的地址以及组在这里插入图片描述
6.启动prometheus
nohup ./prometheus --web.listen-address=“0.0.0.0:8181”在这里插入图片描述
7.停止防火墙
Systemctl stop firewalld在这里插入图片描述
8.访问网址看是否监控成功
http://192.168.91.170:8181在这里插入图片描述
部署grafana
1.安装grafana
yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-11.3.1-1.x86_64.rpm
2.启动grafana服务在这里插入图片描述
联动prometheus+grafana
1.配置数据源在这里插入图片描述
Prometheus的地址在这里插入图片描述
在这里插入图片描述
2.导入dashboard(从官网找一些dashboard导入即可)在这里插入图片描述
在这里插入图片描述

;