如何安装Apache Hive与Hadoop CentOS, Ubuntu和LinuxMint

时间:2019-05-19 01:26:35  来源:igfitidea点击:

Apache Hive数据仓库软件有助于查询和管理分布存储中的大型数据集。
Hive提供了一种机制来将结构投射到该数据上,并使用名为HiveQL的类似sql的语言查询该数据。
这个操作指南将通过简单的步骤在CentOS/RHEL上使用Hadoop安装Apache Hive。

步骤1:安装JAVA和Hadoop

Apache Hive需要java 6或更高版本。
在系统上安装apache hive之前,我们还需要先安装hadoop。

步骤2:下载Hive Archive

在linux系统上成功配置hadoop之后。

首先下载最新的hive源代码并使用以下命令提取存档。

# cd /home/hadoop
# wget http://archive.apache.org/dist/hive/hive-0.12.0/hive-0.12.0-bin.tar.gz
# tar xzf hive-0.12.0-bin.tar.gz
# mv hive-0.12.0-bin hive
# chown -R hadoop hive

步骤3:设置环境变量

在提取hive归档文件后,切换到hadoop user并设置以下环境变量。

# su - hadoop
$ export HADOOP_HOME=/home/hadoop/hadoop
$ export HADOOP_PREFIX=/home/hadoop/hadoop
$ export HIVE_HOME=/home/hadoop/hive
$ export PATH=$HIVE_HOME/bin:$PATH

步骤4:启动Hive

在运行hive之前,我们需要创建 /tmp/user/hive/warehouse,并在HDFS中设置它们chmod g+w,然后在hive中创建一个表。
使用以下命令。

$ cd /home/hadoop/hive
$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

通过以下命令开始使用hive。

$ bin/hive

Logging initialized using configuration in jar:file:/home/hadoop/hive/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive>

步骤5:创建演示表并进行测试

在这个阶段,我们已经成功安装了hive。
让我们使用以下命令创建一个示例表

hive>  CREATE TABLE demo1 (id int, name string);
OK
Time taken: 6.565 seconds

使用下面的命令显示创建的表。

hive> SHOW TABLES;
OK
demo1
Time taken: 0.231 seconds, Fetched: 1 row(s)

使用下面的命令删除表。

hive> DROP TABLE demo1;
OK
Time taken: 2.393 seconds