1、安装mysql
mysql我装在了master节点上,根据自己意愿分配位置
#>apt-get install mysql -y
然后会提示设置mysql的root用户密码,我设置的是123456
重新输入一次密码
安装完成后执行:
#>mysql -uroot -p
这里要对数据库授权
mysql>create database if not exists hive_metadata;
mysql>grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';
mysql>grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive';
mysql>grant all privileges on hive_metadata.* to 'hive'@master identified by 'hive';
mysql> alter database hive_metadata character set latin1;
mysql> flush privileges;
修改/etc/mysql/mysql.conf.d/mysqld.cnf目录下的bind-address
#>vim /etc/mysql/mysql.conf.d/mysqld.cnf
bind-address = 0.0.0.0
#>/etc/init.d/mysql restart
2、安装hive
版本:apache-hive-2.3.2-bin.tar.gz
这里hive我安装到了主节点
- 进入/install-package下,加压hive至/apps目录下,然后在/apps下重命名为hive
#>cd /install-package
#>tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /apps
#>cd /apps
#>mv apache-hive-2.3.2-bin hive
- 配置环境变量
#>vim /etc/profile
#HIVE_HOME
export HIVE_HOME=/apps/hive
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
#>source /etc/profile
- 修改配置文件
注意: 把几个带.template后缀的模板文件,复制一份变成不带.template的配置文件,注意hive-default.xml.template这个要复制二份,一个是hive-default.xml,另一个是hive-site.xml,其中hive-site.xml为用户自定义配置,hive-default.xml为全局配置,hive启动时,-site.xml自定义配置会覆盖-default.xml全局配置的相同配置项。
#> cp hive-default.xml.template hive-site.xml
#> cp hive-env.sh.template hive-env.sh
#> cp hive-default.xml.template hive-default.xml
配置文件:hive-env.xml
在里面添加:
export JAVA_HOME=/apps/jdk
export HADOOP_HOME=/apps/hadoop
export HIVE_CONF_DIR=/apps/hive/conf
配置文件:hive-site.xml
我这里将其他的全部都删除了,自己添加如下内容:
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive_metadata?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
3、MySQL驱动包
- 进入/install-package目录
#>cd /install-package
- 将mysql-connector-java-5.1.45-bin.jar拷贝到hive lib目录下:
最好用这个版本,要不然可能会出现版本兼容性问题
#> cp mysql-connector-java-5.1.45.jar /apps/hive/lib/
4、启动hive
启动之前,保证hadoop集群是启动的
配置hive的时候,连接mysql时要用到mysql-connect-java-xxxx-bin.jar包放到hive的lib目录下,除此之外,hive-site.xml中要注意连接驱动只能有一个就是com.mysql.jdbc.Driver。其余的都要删掉,否则会引起驱动冲突。另外如果使用到hive2.x的版本话,需要注意,不能完全按照视频上的方法去操作,配置完hive后,要现在其bin目录下,对hive进行初始化,执行./schematool -initSchema -dbType mysql 命令进行初始化。初始化成功后会出现schemaTool completed
hive在2.0版本以后,使用前必须要先进行初始化导入元数据
#>schematool -initSchema -dbType mysql
#>hive