文章目录

• 零、本讲学习目标
• 一、Spark集群拓扑
• • （一）集群拓扑
  • （二）集群角色分配
• 二、搭建三节点集群
• • （一）在VMware创建三台虚拟机
  • （二）利用FinalShell登录三台虚拟机
  • • 1、创建SSH连接
    • 1、登录master虚拟机
    • 2、登录slave1虚拟机
    • 3、登录slave2虚拟机
  • （三）查看三台虚拟机主机名
  • （四）配置三台虚拟机IP-主机名映射
  • • 1、配置master虚拟机IP-主机名映射
    • 2、配置slave1虚拟机IP-主机名映射
    • 3、配置slave2虚拟机IP-主机名映射
  • （五）关闭与禁用防火墙
  • • 1、了解相关命令
    • • （1）关闭防火墙命令
      • （2）禁用防火墙命令
      • （3）查看防火墙状态
    • 2、关闭与禁用防火墙
    • • （1）关闭与禁用master虚拟机防火墙
      • （2）关闭与禁用slave1虚拟机防火墙
      • （3）关闭与禁用slave2虚拟机防火墙
  • （六）关闭SeLinux安全机制
  • • 1、在master虚拟机上关闭SeLinux安全机制
    • 2、在slave1虚拟机上关闭SeLinux安全机制
    • 3、在slave2虚拟机上关闭SeLinux安全机制
  • （七）设置三台虚拟机免密登录
  • • 1、master虚拟机免密登录master
    • 2、master虚拟机免密登录slave1
    • 3、master虚拟机免密登录slave2
  • （八）上传大数据相关软件到虚拟机
  • （九）在三台虚拟机上安装配置JDK
  • • 1、在master虚拟机上安装配置JDK
    • 2、将master虚拟机上安装的JDK分发到slave1和slave2虚拟机
    • 3、将master虚拟机上环境配置文件分发到slave1和slave2虚拟机
• 三、配置完全分布式Hadoop
• • （一）在master虚拟机上安装配置hadoop
  • • 1、将hadoop安装包解压到指定位置
    • 2、配置hadoop环境变量
    • 3、编辑Hadoop环境配置文件 - hadoop-env.sh
    • 4、编辑Hadoop核心配置文件 - core-site.xml
    • 5、编辑HDFS配置文件 - hdfs-site.xml
    • 6、编辑MapReduce配置文件 - mapred-site.xml
    • 7、编辑yarn配置文件 - yarn-site.xml
    • 补充：大数据组件的老大和小弟
    • 8、编辑slaves文件（定名分）
  • （二）在slave1虚拟机上安装配置hadoop
  • • 1、将master虚拟机上的hadoop分发到slave1虚拟机
    • 2、将master虚拟机上环境配置文件分发到slave1虚拟机
    • 3、在slave1虚拟机上让环境配置生效
  • （三）在slave2虚拟机上安装配置hadoop
  • • 1、将master虚拟机上的hadoop分发到slave2虚拟机
    • 2、将master虚拟机上环境配置文件分发到slave2虚拟机
    • 3、在slave2虚拟机上让环境配置生效
  • （四）在master虚拟机上格式化名称节点
  • （五）启动Hadoop集群
  • • 1、在master虚拟机上启动hadoop集群
    • 2、查看hadoop集群HDFS的WebUI界面
    • 3、查看hadoop集群Yarn的WebUI界面
  • （六）停止Hadoop集群
• 四、配置Spark Standalone集群
• • （一）在master虚拟机上安装配置Spark
  • • 1、进入`/opt`目录，查看spark安装包
    • 2、将spark安装包解压到指定目录
    • 3、配置spark环境变量
    • 4、编辑spark环境配置文件 - spark-env.sh
    • 5、创建slaves文件，添加从节点
  • （二）在slave1虚拟机上安装配置Spark
  • • 1、把master虚拟机上安装的spark分发给slave1虚拟机
    • 2、将master虚拟机上环境变量配置文件分发到slave1虚拟机
    • 3、在slave1虚拟机上让spark环境配置文件生效
  • （三）在slave2虚拟机上安装配置Spark
  • • 1、把master虚拟机上安装的spark分发给slave2虚拟机
    • 2、将master虚拟机上环境变量配置文件分发到slave2虚拟机
    • 3、在slave2虚拟机上让spark环境配置文件生效
• 五、启动Spark Standalone集群
• • （一）启动hadoop的dfs服务
  • （二）启动Spark集群
  • （三）访问Spark的WebUI
• 六、使用Spark Standalone集群
• • （一）启动Scala版Spark Shell
  • （二）提交Spark应用程序
  • • 1、提交语法格式
    • 2、spark-submit常用参数
    • 3、案例演示 - 提交Spark自带的圆周率计算程序
    • • （1）Standalone模式，采用client提交方式
      • （2）Standalone模式，采用cluster提交方式
  • （三）停止Spark集群服务
• 七、搭建Spark On YARN集群
• • （一）在Spark Standalone集群基础上修改配置
  • （二）启动HDFS和YARN
  • • 1、启动HDFS
    • 2、启动YARN
  • （三）运行Spark应用程序
  • （四）查看Spark应用程序运行结果
• 八、搭建Spark HA集群
• • （一）Spark HA集群概述
  • （二）Spark HA集群架构
  • （三）集群角色分配表
  • （四）安装配置ZooKeeper
  • • 1、在虚拟机master上安装配置ZooKeeper
    • • （1）解压zookeeper安装包
      • （2）配置zookeeper环境变量
      • （3）创建zookeeper数据目录
      • （4）编辑zookeeper配置文件
      • （5）在数据目录里创建myid文件
    • 2、在虚拟机slave1上安装配置ZooKeeper
    • • （1）分发master虚拟机上的zookeeper到slave1虚拟机
      • （2）分发master虚拟机上的环境配置文件到slave1虚拟机
      • （3）修改slave1虚拟机上myid文件
    • 3、在虚拟机slave2上安装配置ZooKeeper
    • • （1）分发master虚拟机上的zookeeper到slave2虚拟机
      • （2）分发master虚拟机上的环境配置文件到slave2虚拟机
      • （3）修改slave2虚拟机上myid文件
  • （五）启动与关闭ZooKeeper集群
  • • 1、在三台虚拟机上启动ZK服务
    • 2、在三台虚拟机上查询ZK服务状态
    • 3、测试集群三个节点是否同步
    • 4、关闭三台虚拟机上的ZK服务
  • （六）修改Spark环境配置文件 - spark-env.sh
  • • 1、在master节点上修改Spark环境配置文件
    • 2、将master节点上Spark环境配置文件分发到slave1
    • 3、将master节点上Spark环境配置文件分发到slave2
• 九、启动Spark HA集群
• • （一）启动ZooKeeper集群
  • • 1、在master节点上启动ZK服务
    • 2、在slave1节点上启动ZK服务
    • 3、在slave2节点上启动ZK服务
  • （二）启动Hadoop服务
  • （三）启动Spark集群
  • • 1、在master节点启动Spark集群
    • 2、在slave1节点启动备用状态Master
    • 3、查看三个节点的进程
• 十、测试Spark HA集群
• • （一）在Spark WebUI里查看两个Master状态
  • （二）测试Spark集群是否高可用