在Hadoop运行oozie工作流程

时间:2020-02-23 14:33:36  来源:igfitidea点击:

在运行Oozie工作流之前,所有组件都需要在指定的目录结构中存在。
具体来说,工作流本身应该具有自己的专用目录,其中Workflow.xml处于根目录中,并且在子目录中存在任何代码库。
工作流程目录和所有文件必须在HDF中存在以进行执行。

如果我们将使用Oozie命令行界面以使用各种作业,请务必设置oozie_url环境变量。
(这很容易从Linux终端中的命令行完成。
)我们可以保存许多打字,因为Oozie Server的URL现在将自动包含在请求中。

这是一个示例命令,可以使用命令行来设置Oozie_URL环境变量:

export OOZIE_URL="http://localhost:8080/oozie"

要从Oozie命令行界面运行Oozie Workload,请发出以下命令,同时确保作业.Properties文件是本地可访问的 - 意味着我们正在使用的帐户可以看到它,这意味着它必须在我们正在运行Oozie命令的相同系统:

$oozie job config sampleWorkload/job.properties run

提交作业后,工作负载存储在Oozie对象数据库中。

在提交时,Oozie返回一个标识符,以使我们能够监控和管理工作流程 - Job:0000001-00000001234567-Oozie-W。

要检查此作业的状态,我们将运行命令

oozie job -info 0000001-00000001234567-oozie-W