Bootstrap

Ubuntu安装Hadoop

安装Hadoop时Ubuntu必备软件:

  1. Java,并且JDK版本必须与Hadoop配对,查看此网站
  2. ssh,且ssh必须运行

正式安装:

  1. 安装并配置java
  2. 安装并配置ssh,根据提示输入密码或者回车
    sudo apt-get install ssh
    sudo apt-get insyall rsync
    ssh localhost
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys
    

    为了在集群管理节点,Hadoop需要ssh访问,上面的设置是免密码登录ssh

  3. oracle官网上下载Hadoop二进制文件
  4. 下载好之后用Xftp将文件传到Ubuntu上
  5. 在Ubuntu上解压hadoop-2.7.7.tar.gz
    tar -zxvf /usr/hadoop-2.7.7.tar.gz -C /usr/local/hadoop
  6. 在/etc/profile中配置PATH和HADOOP_HOME
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin
  7. 配置Hadoop的配置文件hadoop-env.sh
    export JAVA_HOME=/usr/local/java

    将JAVA_HOME改为绝对路径

  8. 配置core-site.xml中Hadoop存储数据的文件和指定默认的文件系统

    <configuration>
            <!--配置namenode的全局入口-->
            <property>
            <name>fs.defaultFS</name>
            <value>hdfs://maerd:9000</value>
            </property>
            <!--指定目录存储Hadoop文件-->
            <property>
            <name>hadoop.tmp.dir</name>
            <value>/document/hadoop/doc</value>
            </property>
    </configuration>
  9. 在hdfs-site.xml中配置文件系统的副本个数
  10. 此时使用hadoop version出现hadoop版本则安装完成
;