ubuntu hive安装记录

hive 安装及使用：

1、把 apache-hive-1.2.2-bin.tar.gz 上传到 linux 的/opt/software 目录下

2、解压 apache-hive-1.2.2-bin.tar.gz 到/opt/module/目录下面
   tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/module/

3、修改 apache-hive-1.2.2-bin.tar.gz 的名称为 hive
   mv apache-hive-1.2.2-bin/ hive

4、修改/opt/module/hive/conf 目录下的 hive-env.sh.template 名称为 hive-env.sh
   mv hive-env.sh.template hive-env.sh

5、配置 hive-env.sh 文件
   1.配置 HADOOP_HOME 路径
       export HADOOP_HOME=/opt/module/hadoop-2.7.2

2.配置 HIVE_CONF_DIR 路径

================================================================================================
启动hive：

1、启动hdfs，yarn
   sbin/hadoop-daemon.sh start namenode
   sbin/hadoop-daemon.sh start datanode
   sbin/yarn-daemon.sh start resourcemanager
   sbin/yarn-daemon.sh start nodemanager

   或者：
   sbin/start-dfs.sh
   sbin/start-yarn.sh

2、在 HDFS 上创建/tmp 和/user/hive/warehouse 两个目录并修改他们的同组权限可写
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir -p /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse

3、启动hive
   bin/hive

4、hive操作（类似于mysql）：
   增，删，查

5、将本地文件导入hive：
   1.在/opt/module/目录下创建 datas
       mkdir datas
   2.创建 student.txt 文件并添加数据
       vi student.txt（以空格分割）

   3.启动hive，使用default 数据库
   4.删除student表
   5.创建新student表
       create table student(id int, name string) row format delimited fields terminated by ' ';
   6.加载/opt/module/datas/student.txt 文件到 student 数据库表中
       load data local inpath '/opt/module/datas/student.txt' into table student;

6、问题：
   无法窗口启动hive：

   原因是， Metastore 默认存储在自带的 derby 数据库中，推荐使用 MySQL 存储 Metastore;

================================================================================================
安装mysql

1.查看是否安装mysql：
rpm -qa|grep mysql

2.删除已有mysql：
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

3.将MySQL-server-5.6.41-1.el6.x86_64.rpm，MySQL-client-5.6.41-1.el6.x86_64.rpm复制到 /opt/software 下

4.安装 mysql 服务端
   1.安装
       rpm -ivh MySQL-server-5.6.41-1.el6.x86_64.rpm

   2.查看随机生的密码：
       cat /root/.mysql_secret

   3.查看mysql状态，启动mysql服务：
       service mysql status
       service mysql start

6.安装mysql客户端：
   1.安装
       rpm -ivh MySQL-client-5.6.41-1.el6.x86_64.rpm
   2.登录：
       mysql -uroot -p

   3.修改密码：
       set password=password('123456')

7.配置mysql user 表中主机配置：
   show databases;
   use mysql;
   show tables;
   查看表结构：
       desc user;
   select User, Host, Password from user;
   修改 user 表，把 Host 表内容修改为%
       update user set host='%' where host='localhost';
   删除 root 用户的其他 host：
       delete from user where Host in ('hadoop102','127.0.0.1','::1') ';
   刷新：
       flush privileges;

================================================================================================
Hive 元数据配置到 MySql

1、拷贝驱动：
   tar -zxvf mysql-connector-java-8.0.12.tar.gz
   cd mysql-connector-java-8.0.12
   cp mysql-connector-java-8.0.12.jar /opt/module/hive/lib/

2、配置Metastore 到 MySql
   1.在/opt/module/hive/conf 目录下创建一个 hive-site.xml
       vi hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://centos66:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
<description>Whether to include the current database in the Hive
prompt.</description>
</property>
<property>
<name>hive.cli.print.header</name>
<value>false</value>
<description>Whether to print the names of the columns in query output.</description>
</property>
</configuration>

3、多窗口测试：
启动hive（若启动异常，重启机器，开启hadoop集群）

================================================================================================
hive 的一些操作：
   1.查看hdfs文件系统：
       dfs -ls /;

   2.查看本地文件：
       ! ls /opt/module/

3.查看hive中输入历史记录：
cat /root/.hivehistory

ubuntu hive安装记录

悦读