如何安装Apache Hive与Hadoop CentOS, Ubuntu和LinuxMint
时间:2019-05-19 01:26:35 来源:igfitidea点击:
Apache Hive数据仓库软件有助于查询和管理分布存储中的大型数据集。
Hive提供了一种机制来将结构投射到该数据上,并使用名为HiveQL的类似sql的语言查询该数据。
这个操作指南将通过简单的步骤在CentOS/RHEL上使用Hadoop安装Apache Hive。
步骤1:安装JAVA和Hadoop
Apache Hive需要java 6或更高版本。
在系统上安装apache hive之前,我们还需要先安装hadoop。
步骤2:下载Hive Archive
在linux系统上成功配置hadoop之后。
首先下载最新的hive源代码并使用以下命令提取存档。
# cd /home/hadoop # wget http://archive.apache.org/dist/hive/hive-0.12.0/hive-0.12.0-bin.tar.gz # tar xzf hive-0.12.0-bin.tar.gz # mv hive-0.12.0-bin hive # chown -R hadoop hive
步骤3:设置环境变量
在提取hive归档文件后,切换到hadoop user并设置以下环境变量。
# su - hadoop $ export HADOOP_HOME=/home/hadoop/hadoop $ export HADOOP_PREFIX=/home/hadoop/hadoop $ export HIVE_HOME=/home/hadoop/hive $ export PATH=$HIVE_HOME/bin:$PATH
步骤4:启动Hive
在运行hive之前,我们需要创建 /tmp和 /user/hive/warehouse,并在HDFS中设置它们chmod g+w,然后在hive中创建一个表。
使用以下命令。
$ cd /home/hadoop/hive $ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp $ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
通过以下命令开始使用hive。
$ bin/hive Logging initialized using configuration in jar:file:/home/hadoop/hive/lib/hive-common-0.12.0.jar!/hive-log4j.properties hive>
步骤5:创建演示表并进行测试
在这个阶段,我们已经成功安装了hive。
让我们使用以下命令创建一个示例表
hive> CREATE TABLE demo1 (id int, name string); OK Time taken: 6.565 seconds
使用下面的命令显示创建的表。
hive> SHOW TABLES; OK demo1 Time taken: 0.231 seconds, Fetched: 1 row(s)
使用下面的命令删除表。
hive> DROP TABLE demo1; OK Time taken: 2.393 seconds