搭建集群准备软件：
1.虚拟机镜像文件
2.jdk压缩包
3.hadoop压缩包
一、创建文件夹
mkdir -p /export/servers
二、设置ip
查看IP：ip addr
修改IP：vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改：BOOTPROTO="static"
在最后面添加：
IPADDR="192.168.XXX.XXX"
GATEWAY="192.168.XXX.2"
NETMASK="255.255.255.0"
DNS1="114.114.114.114"
重启网络服务：service network restart
三、修改主机名：vi /etc/hostname
重启虚拟机：reboot
在虚拟机中ping www.baidu.com
四、设置ip映射
vi /etc/hosts
五、设置ssh免密
ssh-keygen -t rsa 四次回车
ssh-copy-id hadoop041
ssh-copy-id hadoop042
ssh-copy-id hadoop043
六、配置jdk和hadoop
在Xftp中找到export/servers目录 上传jdk和hadoop压缩包
在xshell中解压：
cd /export/servers
tar -xzvf j(按Tab键自动补齐文件名)
tar -xzvf h(按Tab键自动补齐文件名)
在Xftp中的/export/servers目录中修改jdk1.8.0_161名字为jdk
七、配置jdk和hadoop变量
在Xftp中的etc目录中找到profile文件在最后面添加以下代码：
#配置jdk环境变量
export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#配置hadoop环境变量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存之后在xshell中输入source /etc/profile使配置文件生效
输入java -version 查看java版本
输入hadoop version 查看hadoop版本
八、配置hadoop
在Xftp中找到export/servers/hadoop-2.7.4/etc/hadoop目录
1.找到hadoop-env.sh文件 找到export JAVA_HOME=${JAVA_HOME}
修改=后面为/export/servers/jdk
2.找到core-site.xml文件
在<configuration></configuration>标签中添加以下代码：
<!-- 用于设置Hadoop的文件系统，由URI指定 -->
<property>
<name>fs.defaultFS</name>
<!-- 用于指定namenode地址在hadoop01机器上 -->
<value>hdfs://hadoop041:9000</value>
</property>
<!-- 配置Hadoop的临时目录，默认/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
3.找到hdfs-site.xml文件
在<configuration></configuration>标签中添加以下代码：
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- secondary namenode 所在主机的IP和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop042:50090</value>
</property>
4.找到mapred-site.xml.template文件
复制该文件 然后粘贴并重命名为mapred-site.xml
在<configuration></configuration>标签中添加以下代码：
<!-- 指定MapReduce运行时框架，这里指定在YARN上，默认是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.找到yarn-site.xml文件
在<configuration></configuration>标签中添加以下代码：
<!-- 指定YARN集群的管理者(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop041</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
6.找到slaves文件
删掉localhost 添加以下代码：
hadoop041
hadoop042
hadoop043
九、超级复制(把hadoop04的配置文件分发给hadoop05和hadoop06)
在hadoop04中执行以下命令：
scp /etc/profile hadoop042:/etc/profile
scp /etc/profile hadoop043:/etc/profile
scp -r /export/ hadoop042:/
scp -r /export/ hadoop043:/
在hadoop05和hadoop06中执行source /etc/profile命令使配置文件生效
十、格式化文件系统(在hadoop041中)
hdfs namenode -format
出现successfully formatted表示格式化成功
十一、启动集群
start-all.sh
hadoop041五个进程
hadoop042四个进程
hadoop043三个进程
十二、关闭防火墙
查看防火墙状态：systemctl status firewalld.service
关闭防火墙：systemctl stop firewalld.service
关闭防火墙自启：systemctl disable firewalld.service
十三、Windows ip映射
在电脑搜索框中搜索记事本，右键以管理员身份打开
按Ctrl+O打开C:\Windows\System32\drivers\etc
右下角选择所有文件类型 打开hosts文件
配置三台虚拟机IP和主机名
十四、web查看
查看hdfs界面：hadoop041:50070
查看yarn界面：hadoop041:8088