零:版本说明
Hadoop:3.1.0
CentOS:7.6
JDK:1.8
一、安装CentOS
这里网上教程很多,就不贴图了
【内存可以尽量大一些,不然Hive运行时内存不够】
二、Hadoop单机配置
创建tools目录,用于存放文件安装包
将Hadoop和JDK的安装包上传上去
创建server目录,存放解压后的文件
解压jdk
配置环境变量
配置免密登录
配置映射,配置ip地址和主机名映射,以后就可以用主机名代替ip地址
生成公钥和私钥
查看生成的公钥和私钥,并将公钥写入授权文件
解压Hadoop
配置Hadoop
修改配置文件
初始化并启动HDFS
关闭防火墙
第一次启动需要先初始化HDFS
配置启动用户
配置环境变量,方便启动
启动HDFS
[root@localhost ~]# start-dfs.sh
验证是否启动成功
方式1:
[root@localhost ~]# jps
58466 Jps
54755 NameNode
55401 SecondaryNameNode
54938 DataNode
方式2:访问这个网址,虚拟机地址:9870端口号
192.168.163.129:9870
配置Hadoop(YARN)环境
修改配置文件mapred-site.xml和yarn-site.xml
[root@localhost ~]# cd /opt/server/hadoop-3.1.0/etc/hadoop/
[root@localhost hadoop]# vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
&l