Bootstrap

大数据环境搭建 Hadoop+Hive+Flume+Sqoop


零:版本说明

Hadoop:3.1.0
CentOS:7.6
JDK:1.8

一、安装CentOS

这里网上教程很多,就不贴图了
【内存可以尽量大一些,不然Hive运行时内存不够】
在这里插入图片描述

二、Hadoop单机配置

创建tools目录,用于存放文件安装包
在这里插入图片描述
将Hadoop和JDK的安装包上传上去
在这里插入图片描述

创建server目录,存放解压后的文件
在这里插入图片描述
解压jdk
在这里插入图片描述
配置环境变量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置免密登录
配置映射,配置ip地址和主机名映射,以后就可以用主机名代替ip地址
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
生成公钥和私钥
在这里插入图片描述
查看生成的公钥和私钥,并将公钥写入授权文件
在这里插入图片描述
在这里插入图片描述
解压Hadoop
在这里插入图片描述
配置Hadoop
修改配置文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

初始化并启动HDFS
关闭防火墙
在这里插入图片描述
第一次启动需要先初始化HDFS
在这里插入图片描述
配置启动用户
在这里插入图片描述

在这里插入图片描述
配置环境变量,方便启动
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

启动HDFS

[root@localhost ~]# start-dfs.sh

验证是否启动成功

方式1:
[root@localhost ~]# jps
58466 Jps
54755 NameNode
55401 SecondaryNameNode
54938 DataNode

方式2:访问这个网址,虚拟机地址:9870端口号
192.168.163.129:9870

配置Hadoop(YARN)环境
修改配置文件mapred-site.xml和yarn-site.xml

[root@localhost ~]# cd /opt/server/hadoop-3.1.0/etc/hadoop/
[root@localhost hadoop]# vim mapred-site.xml 
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		&l
;