安装Hadoop时Ubuntu必备软件:
- Java,并且JDK版本必须与Hadoop配对,查看此网站
- ssh,且ssh必须运行
正式安装:
- 安装并配置java
- 安装并配置ssh,根据提示输入密码或者回车
sudo apt-get install ssh sudo apt-get insyall rsync ssh localhost ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
为了在集群管理节点,Hadoop需要ssh访问,上面的设置是免密码登录ssh
- 在oracle官网上下载Hadoop二进制文件
- 下载好之后用Xftp将文件传到Ubuntu上
- 在Ubuntu上解压hadoop-2.7.7.tar.gz
tar -zxvf /usr/hadoop-2.7.7.tar.gz -C /usr/local/hadoop
- 在/etc/profile中配置PATH和HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin
- 配置Hadoop的配置文件hadoop-env.sh
export JAVA_HOME=/usr/local/java
将JAVA_HOME改为绝对路径
-
配置core-site.xml中Hadoop存储数据的文件和指定默认的文件系统
<configuration> <!--配置namenode的全局入口--> <property> <name>fs.defaultFS</name> <value>hdfs://maerd:9000</value> </property> <!--指定目录存储Hadoop文件--> <property> <name>hadoop.tmp.dir</name> <value>/document/hadoop/doc</value> </property> </configuration>
- 在hdfs-site.xml中配置文件系统的副本个数
- 此时使用hadoop version出现hadoop版本则安装完成