Hadoop 运行一个Wordcount Mapreduce的例子

时间:2019-05-19 01:26:11  来源:igfitidea点击:

本教程将使用命令行在hadoop中运行wordcount mapreduce示例。
这也可以是Hadoop设置测试的初始测试。

1。准备工作

我们必须在系统上运行hadoop设置。
如果我们没有安装hadoop,先安装hadoop。

2。复制文件到Namenode文件系统

在成功格式化namenode之后,必须正确启动所有Hadoop服务。
现在在hadoop文件系统中创建一个目录。

$ hdfs dfs -mkdir -p /user/hadoop/input

复制一些文本文件到hadoop文件系统内的输入目录。
这里我们复制LICENSE.txt给它。
你可以复制多个文件。

$ hdfs dfs -put LICENSE.txt /user/hadoop/input/

3。运行Wordcount命令

现在使用下面的命令运行wordcount mapreduce示例。
下面的命令将读取输入文件夹中的所有文件并处理mapreduce jar文件。
成功完成任务后,将结果放在输出目录中。

$ cd $HADOOP_HOME
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output

4。显示结果

首先使用以下命令检查在Hyman@theitroad/user/hadoop/output文件系统下创建的结果文件的名称。

$ hdfs dfs -ls /user/hadoop/output

现在显示结果文件的内容,我们将在其中看到wordcount的结果。
你会看到每个单词的数量。

$ hdfs dfs -cat /user/hadoop/output/part-r-00000