Bootstrap

Ubuntu上Hadoop集群安装和搭建(三台虚拟机,保姆级教程)

目录

1.安装三台虚拟机

2.配置静态网络(三台虚拟机都要操作)

2.1 查看网络是否连通

 2.2 安装net-tools

2.3.查看物理地址

2.4 查看ip地址的起始和结束地址

2.5 修改网络配置文件

 2.6 修改三台主机名

3. 配置hosts文件和ssh免密登录 

3.1 修改hosts配置文件(所有虚拟机都需要)

​3.2 开启ssh服务

​3.3 开机自启动

3.4 查看是否配置成功

4. Hadoop集群配置

4.1 在所有虚拟机根目录下新建文件夹export,export文件夹中新建data、servers和software文件

4.2 准备安装包 

4.3 先修改三台虚拟机的export权限

4.4 安装jdk(所有虚拟机都要有的操作)

4.4 Hadoop安装(所有虚拟机都要操作) 

​4.5 Hadoop集群配置

5.  Hadoop集群测试

5.1 启动集群:在主节点启动所有HDFS服务进程

5.2  在主节点启动所有YARN服务进程

5.3 使用jps命令查看进程 

5.4 通过UI界面查看Hadoop运行状态

5.5 查看Yarn集群状态 

6 hadoop集群时间同步

6.1. 确保日志一致性

6.2. 分布式文件系统的一致性

6.3. YARN 作业调度和执行

6.4 配置hadoop集群中主机hadoop01、hadoop02、hadoop03时间同步

7.  Ubuntu搭建Hadoop集群搭建常见问题

7.1 配置 HADOOP_NICENESS 变量

7.2 修改文件夹hadoop-3.3.6的权限


1.安装三台虚拟机

 注意:这里不要使用克隆去克隆虚拟机,因为ub克隆后网络会出现问题,所建议大家直接安装三台虚拟机

2.配置静态网络(三台虚拟机都要操作)

2.1 查看网络是否连通

ping baidu.com

 2.2 安装net-tools

sudo su
apt upgrade
apt install net-tools

2.3.查看物理地址

ifconfig

2.4 查看ip地址的起始和结束地址

ip addr show

从上图中我们可以看到,网络接口 enp0s5 的详细信息如下:

  • 接口名称enp0s5
  • IPv4 地址10.211.55.9/24
  • 广播地址10.211.55.255
  • 子网掩码/24(等价于 255.255.255.0

/24 表示前 24 位用于表示网络号,剩下 8 位

用于主机号。这意味着该子网的 IP 地址范围是 10.211.55.010.211.55.255

2.5 修改网络配置文件

  •  ip地址设置参照2.4小节中IP地址范围自行选择(在起始地址和结束地址的范围内)
  • 子网掩码设置为默认值:255.255.255.0
  • 采用route -n命令查看主机的网关,把网关IP改为10.211.55.1:

  • DNS使用谷歌提供的免费dns:8.8.8.8
  • 然后重启网卡。激活配置 测试ip是否配置完成:
ip a

  • 测试DNS是否配置成功,测试能否访问百度:
ping 8.8.8.8
ping baidu.com

 2.6 修改三台主机名

hostnamectl set-hostname hadoop01
reboot
hostnamectl set-hostname hadoop0
reboot
hostnamectl set-hostname hadoop03
reboot

3. 配置hosts文件和ssh免密登录 

3.1 修改hosts配置文件(所有虚拟机都需要)

apt install vim
vim /etc/hosts

3.2 开启ssh服务

sudo apt-get update
sudo apt-get install openssh-server
  • 当安装完后 
sudo service ssh start
  •  检查是否运行
sudo service ssh status
  • 运行成功会显示 

 3.3 开机自启动

sudo systemctl enable ssh
  • 生成密钥文件 
ssh-keygen -t rsa

  •   将本机公钥文件复制到其他虚拟机上
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

一定要切回初始用户,因为Ubuntu的root用户密码是随机的确定不了 

3.4 查看是否配置成功

ssh分别连接hadoop02、hadoop03:

 4. Hadoop集群配置

;