基本条件:同步时间、免密登录、关闭防火墙、安装JDK1.8
在安装spark之前
emmm
我有三台虚拟机
hadoop01
hadoop02
hadoop03
然后jdk1.7
就是因为这个
我第一启动时failed to launch: nice -n 0错误
哦 对了 网上好多说配置 /root/.bashrc 文件
在后面加上
export JAVA_HOME= /usr/local/jdk1.8.0_191
这句话就好了
我弄了没用
因为 我的jdk1.7
启动失败好多错误信息 有提示信息
你要认真去看下面的错误信息
它提示我去看日志 我进入到提示目录看的日志
告诉我
Unsupported major.minor version 52.0
注意了 看到这个就应该知道这是版本不兼容的问题出现了 因为我前面因为替换jar包的问题遇到过
所以 含泪舍弃了jdk1.7
从官网下载了jdk1.8 上传解压
在这里 还在想以前的jdk1.7的配置怎么办 一些路径 还有配置文件写的jkd1.7怎么弄 一个一个改?
大佬告诉我!
将加压后的jdk1.8的名字改为现在存在的jdk1.7的名字就行了
就是内容变为1.8 但名字还是1.7!!!!
ok
安装好重启spark 果然成功!
步骤
1.上传安装包到hadoop01 2.将文件解压到指定的目录
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /usr/local
2.在其conf下配置
3.1修改conf目录下的env文件 mv spark-env.sh.template spark-env.sh vi spark-env.sh 在文件的末尾添加 export JAVA_HOME= /usr/local/jdk1.8.0_191
JDK安装路径
export SPARK_MASTER_IP=hadoop01 主节点IP
export SPARK_MASTER_PORT=7077 主节点端口号(内部通信)
注意这个hadoop01
如果你没有配置hosts文件 那就写hadoop01的地址
export JAVA_HOME=/usr/local/jdk1.7.0_79
export SPARK_MASTER_IP=hadoop01
export SPARK_MASTER_PORT=7077
3.修改slaves.template文件为slaves
mv slaves.template slaves
vi slaves
我写上了
(可以根据自己的结点数量适当删改)
hadoop02
hadoop02
4.分发配置好的内容到其他机器
scp -r /usr/local/spark-2.2.0-bin-hadoop2.7/ hadoop02:/usr/local/
scp -r /usr/local/spark-2.2.0-bin-hadoop2.7/ hadoop03:/usr/local/
5.spark启动集群
进入到安装目录找sbin目录进入
[root@hadoop01 conf]# cd /usr/local/spark-2.2.0-bin-hadoop2.7/sbin/
[root@hadoop01 sbin]# ./start-all.sh