使用sqoop导入数据

时间:2020-02-23 14:33:33  来源:igfitidea点击:

其中我们将直接从MySQL导入所有服务订单数据库,并在Apache Hadoop上的新导入的数据库中运行Hiveql查询。
以下列表向我们展示它是如何完成的。

hive> create database serviceorderdb;
OK
Time taken: 1.343 seconds
hive> use serviceorderdb;
OK
Time taken: 0.062 seconds
$sqoop import --connect jdbc:mysql://localhost/serviceorderdb 
   --username root -P 
   --table productinfo 
   --hive-import 
   --hive-table serviceorderdb.productinfo -m 1
Enter password:
...
13/08/16 15:17:08 INFO hive.HiveImport: Hive import complete.
$sqoop import --connect jdbc:mysql://localhost/serviceorderdb 
   --username root -P 
   --table customercontactinfo 
   --hive-import 
   --hive-table serviceorderdb.customercontactinfo -m 1
Enter password:
...
13/08/16 17:21:35 INFO hive.HiveImport: Hive import complete.
$sqoop import --connect jdbc:mysql://localhost/serviceorderdb 
   --username root -P 
   --table serviceorders 
   --hive-import 
   --hive-table serviceorderdb.serviceorders -m 1
Enter password:
...
13/08/16 17:26:56 INFO hive.HiveImport: Hive import complete.

当导入操作完成后,我们运行show tables命令以列出新导入的表(请参阅以下列表):

hive> show tables;
OK
customercontactinfo
productinfo
serviceorders
Time taken: 0.074 seconds

然后运行一个Hive查询以显示Apache Hadoop技术在数据库中具有开放服务订单:

hive> SELECT productdesc FROM productinfo
   > INNER JOIN serviceorders
   > ON productinfo.productnum = serviceorders.productnum;
...
OK
HBase Support Product
Hive Support Product
Sqoop Support Product
Pig Support Product
Time taken: 28.552 seconds

我们可以确认结果。
我们在粗体上有四个开放式服务订单。
SQOOM Hive Import操作工作,现在服务可以利用Hive查询,分析和转换其服务订单结构化数据。

此外,该现在可以将其关系数据与其他数据类型(也许是Unstructured)组合,作为任何新的Hadoop分析应用程序的一部分。
Apache Hadoop存在许多可能性存在于整体IT战略的一部分!