Ubuntu上搭建Hadoop单机环境和伪分布模式部署。

##创建一个hadoop用户

$ sudo adduser hadoop

##将hadoop用户添加进sudo用户组

$ sudo usermod -G sudo hadoop

2. 安装JDK并配置环境变量

Ubuntu自带的jdk是open jdk 的，当然也可以用，但是感觉之前在Windows上都是用的sun jdk，对正宗的jdk还是更亲切些，并且sun jdk 比open jdk 功能更强大，更全所以就下载安装了sun jdk 。

jdk 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

在这里插入图片描述

下载下来后，可以把jdk 装(解压)在你想要的目录：

tar -zxvf jdk-8u171-linux-x64.tar.gz

比如我的jdk 就放在了 /usr/local/jdk/jdk1.8.0_211 目录下。接下来配置环境变量。说实话这个折痛了我很久，差不多花了我4、5个小时才弄好，归根结底还是Linux系统不熟悉导致的，不过不经历风雨怎见彩虹，走过的路每一步都算数。不折痛这一番怎让自己印象深刻。

配置Java环境变量可以在两个地方配置：1. 修改 /ect/profiles 这是系统的配置文件，修改起来有风险，我就是掉到这个坑去了，因为把在这个配置文件中加上Java环境变量，然后没有配置。结果导致我重启电脑后死活进不去，选择用户，输入正确的密码，然后又自动调回登录界面了，吓得我不行，以为我把系统搞崩了，网上这种情况方法一大推，找到属于自己的才行，我也是想着我只修改了这个文件才导致的。所以大家碰到这个一直在登录界面循环的问题，还是要认真分析自己之前做了什么才导致的。我也在网上找了很久，最后把这个/etc/profiles这个文件的内容改正确了，才能正确的进入系统。

2.修改用户目录的.bashrc文件。这个配置文件是针对当前用户的。比如上面我创建的Hadoop用户，那当我用这个用户进入系统的时候，怎么能使用jdk呢，就是在./bashrc添加java环境变量就可以了。个人建议，修改用户目录的.bashrc 文件比较靠谱，风险小些。

sudo vim ~/.bashrc

进入到.bashrc 文件后，在最后加上下面配置，jdk路径写自己的

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_211

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.: ${JAVA_HOME}/lib:$ {JRE_HOME}/lib

export PATH=.: ${JAVA_HOME}/bin:$ PATH

在这里插入图片描述

保存退出后，执行

$ source ~/.bashrc

##让上面修改的文件生效，和重启电脑起到相同效果。

##接下来测试一下你的java环境变量是否配置好了把

$ java -version

$ java

$ javac

$ echo $JAVA_HOME

上面的四个都可以试试，配置好了是有的

在这里插入图片描述

3.配置ssh免密登录

切换到 hadoop 用户，hadoop 用户时密码为 hadoop。后续步骤都将在 hadoop 用户的环境中执行。

$ su hadoop

配置ssh环境免密码登录。在/home/hadoop目录下执行

$cd ~

$ ssh-keygen -t rsa #一路回车

$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

$ chmod 600 .ssh/authorized_keys

验证登录本机是否还需要密码，第一次需要密码以后不需要密码就可以登录。

$ ssh localhost

#仅需输入一次hadoop密码，以后不需要输入

在这里插入图片描述

4.下载并安装Hadoop

我选的是Hadoop 2.6.0，大家可以选择自己想要的Hadoop版本，但是方法都是一样的

$ wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz

$ tar zxvf hadoop-2.6.0.tar.gz

$ chmod 777 /home/hadoop/hdfs/hadoop-2.6.0

为什么要修改文件夹的权限呢，因为下载的的Hadoop解压后的所有者和用户组是20000，不知道你们是什么，应该不是你的当前用户，所以你当前用户在操作这个文件的时候总提示权限不足，者也是后面的一个坑啊。

5.配置Hadoop

一样的，打开当前用户的.bashrc 文件，进行修改

#HADOOP START

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_211

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.: ${JAVA_HOME}/lib:$ {JRE_HOME}/lib

export HADOOP_HOME=/home/hadoop/hdfs/hadoop-2.6.0

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_INSTALL=$HADOOP_HOME

export PATH=.: ${JAVA_HOME}/bin:$ PATH: ${HADOOP_HOME}/bin:$ {HADOOP_HOME}/sbin

#HADOOP END

在这里插入图片描述

其实配置Hadoop用不到这么多，之后待会部署伪分布式模式的时候要加上这些变量，所以才一次给出来，如果只配置单机模式，配置下面就好

#JAVA

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_211

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.: ${JAVA_HOME}/lib:$ {JRE_HOME}/lib

#HADOOP START

export HADOOP_HOME=/home/hadoop/hdfs/hadoop-2.6.0

export PATH=.: ${JAVA_HOME}/bin:$ PATH: ${HADOOP_HOME}/bin:$ {HADOOP_HOME}/sbin

#HADOOP END

保存之后，同样执行$ source ~/.bashrc生效。

6. 单机模式测试

到此其实单机模式就已经配置好了。现在可以看看你的hadoop 配置好没。

$ hadoop version

会显示出当前你安装的hadoop 版本，证明安装成功啦

接下来测试一下：

创建输入临时目录的内容文件。可以在任何地方创建此输入目录用来工作。

$ mkdir input

$ cp $HADOOP_HOME/*.txt input

$ ls -l input

它会在输入目录中的给出以下文件：

total 24

-rw-r–r-- 1 root root 15164 Feb 21 10:14 LICENSE.txt

-rw-r–r-- 1 root root 101 Feb 21 10:14 NOTICE.txt

-rw-r–r-- 1 root root 1366 Feb 21 10:14 README.txt

接下来进行Hadoop自带的单词统计的例子

$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.6.0.jar wordcount input ouput

这里我也碰到一个坑，就是上面的说的权限问题。我执行这个语句之后，疯狂报错，最后仔细看看是创建ouput文件夹以及生成里面的文件失败。最后也是找了很久才知道把权限改一下，然后就正常运行了。

看看结果：

cat ouput/*

在这里插入图片描述

到此就单机模式部署好啦，接下虚分布模式

7. 伪分布模式部署

伪分布模式，修改的配置文件有点多，一步一步来。

1.首先修改.bashrc 把文章前面说的那些变量加上去。最后的效果图再看一遍

在这里插入图片描述

2.接下来的配置修改都是在这个目录下的。

$ cd $HADOOP_HOME/etc/hadoop

在这里插入图片描述

3.修改 hadoop-env.sh

把JAVA_HOME路径改成你对应的路径，不然最后测试会提示找不到JAVA_HOME

在这里插入图片描述

4.修改 core-site.xml

core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小。

打开core-site.xml 并在，标记之间添加以下属性。

fs.default.name

hdfs://localhost:9000

5.修改hdfs-site.xml

hdfs-site.xml 文件中包含如复制数据的值，NameNode路径的信息，，本地文件系统的数据节点的路径。这意味着是存储Hadoop基础工具的地方。

打开这个文件，并在这个文件中的标签之间添加以下属性。

dfs.replication

dfs.name.dir

file:///home/hadoop/hadoopinfra/hdfs/namenode

dfs.data.dir

file:///home/hadoop/hadoopinfra/hdfs/datanode

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

写在最后

学习技术是一条慢长而艰苦的道路，不能靠一时激情，也不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。所以：贵在坚持！

最后再分享的一些BATJ等大厂20、21年的面试题，把这些技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，上面只是以图片的形式给大家展示一部分。

蚂蚁金服三面直击面试官的Redis三连,Redis面试复习大纲在手,不慌

Mybatis面试专题

蚂蚁金服三面直击面试官的Redis三连,Redis面试复习大纲在手,不慌

MySQL面试专题

蚂蚁金服三面直击面试官的Redis三连,Redis面试复习大纲在手,不慌

并发编程面试专题

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
faed303032d36.jpg" alt=“img” style=“zoom: 33%;” />

写在最后

学习技术是一条慢长而艰苦的道路，不能靠一时激情，也不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。所以：贵在坚持！

[外链图片转存中…(img-t83yArZb-1713375208770)]

Mybatis面试专题

[外链图片转存中…(img-S9qYTQsu-1713375208770)]

MySQL面试专题

[外链图片转存中…(img-RLC9A3kO-1713375208771)]

并发编程面试专题

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！