Bootstrap

Doris安装部署

目录

集群部署

下载安装包

解压

配置FE

配置BE

安装mysql客户端

使用 Mysql 客户端连接到 FE

添加 BE

对be进行扩容

对be进行缩容

对Fe进行扩容

对Fe进行缩容

群起脚本编译

集群部署

hadoop102

hadoop103

hadoop104

FE(LEADER)

FE(FOLLOWER)

FE(FOLLOWER)

BE

BE

BE

操作系统安装要求

设置系统最大打开文件句柄数(注意这里的*不要去掉)

设置最大虚拟块的大小

配置完记得重启

下载安装包

根据自己的需要,下载合适的安装包

Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris

x86_64架构 cpu(intel,amd),执行命令

如果能看到avx2 字样选择带 avx2 的包,否则选择不带 avx2

arm64 架构 cpu(apple),选择 arm64 的安装包下载

解压

安装fe

安装be

安装其他依赖(java udf 函数)

改名

并移动jar包

配置FE

配置完成后启动Fe

页面访问,因为是第一次登录没有密码只需添用户

到这里Fe就配置完成了

配置BE

修改be.conf文件

安装mysql客户端

http://t.csdnimg.cn/SAjZm

使用 Mysql 客户端连接到 FE

mysql -hhadoop102 -P9030 -uroot

-P 指定端口(注意这里 P 是大写, 小写 p 用来指定密码)

FE 默认没有密码

设置密码

添加 BE

启动be

查看状态

上面完成后就可以简单使用了。

对be进行扩容

首先在mysql中执行

在这两台节点解压be然后把jar包分发到这两台节点

对两台节点进行配置

修改be.conf文件

查看

到这就扩容完成了

对be进行缩容

DROP方式删除BE节点(不推荐)

ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";

注意:DROP BACKEND 会直接删除该BE,并且其上的数据将不能再恢复!!!所以我们强烈不推荐使用 DROP BACKEND 这种方式删除BE节点。当你使用这个语句时,会有对应的防误操作提示

DECOMMISSION 方式删除BE节点(推荐)

ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

  1. 该命令用于安全删除BE节点。命令下发后,Doris 会尝试将该BE上的数据向其他BE节点迁移,当所有数据都迁移完成后,Doris会自动删除该节点。
  2. 该命令是一个异步操作。执行后,可以通过 SHOW PROC '/backends'; 看到该 BE 节点的isDecommission状态为true。表示该节点正在进行下线。
  3. 该命令不一定执行成功。比如剩余BE存储空间不足以容纳下线BE上的数据,或者剩余机器数量不满足最小副本数时,该命令都无法完成,并且BE会一直处于 isDecommission为true的状态。

DECOMMISSION的进度,可以通过SHOW PROC '/backends'; 中的TabletNum查看,如果正在进行,TabletNum将不断减少

该操作可以通过如下命令取消:

CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

取消后,该BE上的数据将维持当前剩余的数据量。后续Doris重新进行负载均衡

对Fe进行扩容

查看Fe状态

show proc '/frontends';

将fe在另外两台节点解压

改名

将第一台节点的fe配置文件分发到这两台节点

增加FE节点

FE分为Leader,Follower和Observer三种角色。 默认一个集群只能有一个Leader,可以有多个Follower和Observer。其中Leader和Follower组成一个Paxos选择组,如果 Leader宕机,则剩下的Follower 会自动选出新的Leader,保证写入高可用。Observer 同步 Leader的数据,但是不参加选举。

如果只部署一个FE,则FE 默认就是Leader。在此基础上,可以添加若干Follower和 Observer。

第一次启动时,启动命令需要添加参 --helper leader主机: edit_log_port

下次就不需要了

加--daemon是后台启动,不加是页面启动

以上也面就是fe的扩容

对Fe进行缩容

ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";

注意:删除 Follower FE 时,确保最终剩余的 Follower(包括 Leader)节点为奇数

页面变成这样就成功对fe进行缩容了

群起脚本编译

;