网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
删除掉一些打印机，复印机，不需要的硬件选项，增加运行速度。
牢记用户密码和Root密码，将来需要改配置，需要密码验证。
使用VM的克隆的方法，创建三台虚拟服务器的主机，并且将三台服务器更名为master,slave1,slave2；先关闭主服务器master的开关，然后进行管理克隆操作。
2.4 master主机进行网络配置
登陆成功直接输入下面命令然后回车会出现下面内容
vi /etc/sysconfig/network-scripts/ifcfg-ens33
改成以下内容
service network restart
slave0和slave1网络配置
使用同样的方法配置slave0和slave1的网络ip地址，开启服务器成功以后。输入代码
vi /etc/sysconfig/network-scripts/ifcfg-ens33
同样的操作，在slave1中操作，配置slave1的网络变成192.168.56.112，配置网络后ping主机地址，然后再ping一下www.sina.com地址，保证互联网访问正常。
2.5 同步时间
首先先把三台虚拟机关机
2.6 Xshell6的安装与使用
Xshell6的作用
可以同时连接多台服务器，将多台服务器连接在一台软件上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行命令操作，并行可以操作多台虚拟主机
Xshell6安装（基本上都是默认，这里忽略，选择安装的语言记得中文，英语很强请忽略我。）
Xshell6的使用
链接master主机地址，输入账号密码即可访问
Xftp6的作用
可以同时连接多台服务器，将多台服务器连接在一台机器上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行文件传输操作.（安装步骤省略，网上有很多资源可以下载）使用操作说明
出现桌面文件和master路径文件的话，表示已经成功了。其他的两台机器就不演示操作了。
2.7 关闭防火墙
首先打开并登陆master服务器
使用指令查看防火墙状态，一般都是active（running）激活状态，然后用指令关闭防火墙，关闭完后使用systemctl指令加入开机启动项。
systemctl status firewalld.service
systemctl stop firewalld.service
systemctl disable firewalld.service
2.8 设置主机名
先在master服务器上操作’，输入下面命令
vi /etc/sysconfig/network
再次修改主机名字，将hostname中内容删除掉，增加mastert名字操作
vi /etc/hostname
按照上述操作方法，将其他的虚拟机更改主机名字，对应的slave0,slave1都修改。修改完记得重启验证一下，主机名字是否更变。
2.9 hosts设置
使用计算机名进行网络访问，需要修改vi /etc/hosts 文件中的主机名与IP地址的对照列表。三台服务器都需要配置一下（master,slave0,slave1）
免密钥登陆配置
首先在master服务器下面生成秘钥
ssh-keygen -t rsa
然后按四次回车，出现下面内容
进入根目录文件夹中
cd ~/.ssh
ls -l
然后输入下面命令把公钥文件发送到自己和其它服务器还有发送自己了。
ssh-copy-id -i id_rsa.pub root@master
输入Yes，一直接收
输入root密码
成功后出现下面内容
然后再分别发送给slave0和slave1
验证是否成功
在master服务器输入下面的命令，都不需要输入密码，就说明成功了,注意每执行完一条命令都用exit退出一下再执行下一条。
2.10 安装JDK
首先在master服务器的usr/local目录下新建一个java文件夹，用下面命令就可以完成
mkdir /usr/local/java
然后用Xftp连接master服务器，打开usr/local/java这个目录，把jdk-8u162-linux-x64.tar复制进去，
使用指令解压
tar -zxvf jdk-8u162-linux-x64.tar.gz
接下来开始配置环境变量，先用cd命令回到总目录
输入下面命令开始配置
增加以下内容，
加载环境变量，使用
然后输入java、javac和java -version验证，如果都出现一大堆代码说明配置成功了，如果其中有一个或多个出现不是内部或外部命令，也不是可运行的程序或批处理文件等类似语句，就说明配置失败了，需要重新配置jdk环境。
这样就安装好master服务器的jdk了，但是还没有安装好slave0和slave1的jdk,我们可以用下面命令把master中的jdk复制到slave0上面
scp -r /usr/local/java root@slave0:/usr/local
这时已经把jdk复制到slave0了，但是slave0的环境变量还没有配置，我们同样可以使用下面命令来复制环境变量
scp -r /root/.bash_profile root@slave0:/root
在slave0加载环境变量，同样用java,javac,java-version测试环境。
source /root/.bash_profile
slave1操作和slave0一致，重复操作，进行java测试。
2.11 Hadoop安装与环境配置
先用下面的命令给opt文件夹中新建一个hapoop文件夹，后期配置hadoop文件
mkdir /opt/hadoop
然后把hadoop-2.7.5复制到hadoop文件夹中
使用下面命令进入到hadoop文件夹，进行解压
cd /opt/hadoop
tar -zxvf hadoop-2.7.5.tar.gz
使用mv指令把hadoop-2.7.5文件夹重命名成hadoop
mv hadoop-2.7.5 hadoop
在主服务器master上配置
1.配置hadoop-env.sh
该文件设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前执行的环境当成远程服务器。所以这里设置的目的是确保Hadoop能正确的找到jdk。
在hadoop文件中找到hadoop-env.sh文件进行修改，配置java的路径。
2. 配置core-site.xml
core-site.xm所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
cd /opt/hadoop/hadoop/etc/hadoop
vi core-site.xml
接着把下面命令写入中，注释不用写
<!-- 指定Hadoop所使用的文件系统schema(URL),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的储存目录，默认是/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoopdata</value>
</property>
vi hdfs-site.xml
3.配置hdfs-site.xml
hdfs-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi hdfs-site.xml
接着把下面命令写入中，注释不用写
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.配置yarn-site.xml
yarn-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi yarn-site.xml
接着把下面命令写入中，里面自带的注释不用删除
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
5.配置mapred-site.xml
还是在/opt/hadoop/hadoop/etc/hadoop目录下(也就是上个文件所在的目录)，有一个叫 mapred-site.xml.template的文件，把它复制到/opt/hadoop/hadoop/etc/hadoop目录下(也就是mapred-queues.xml.template文件所在的目录)重命名为mapred-site.xml，命令如下
mv mapred-site.xml.template mapred-site.xml
编辑文本
vi mapred-site.xml
接着把下面命令写入中，注释不用写
<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.配置slaves
slaves 文件给出了 Hadoop 集群的 Slave 节点列表。该文件十分重要，因为启动Hadoop 的时候，系统总是根据当前 slaves 文件中 Slave 节点名称列表启动集群，不在列表中的Slave节点便不会被视为计算节点.
slaves所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
cd /opt/hadoop/hadoop/etc/hadoop
vi slaves
增加以下文字内容，进行配置。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
节点便不会被视为计算节点.
slaves所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
cd /opt/hadoop/hadoop/etc/hadoop
vi slaves
增加以下文字内容，进行配置。
[外链图片转存中…(img-E9hbZKnb-1715794887866)]
[外链图片转存中…(img-aZtJye6X-1715794887866)]
[外链图片转存中…(img-Ul2u7bwX-1715794887867)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新