编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

Oozie逻辑调度执行多个Job(多个事务在某个调度下)

wxchong 2024-07-04 09:38:18 开源技术 14 ℃ 0 评论

Oozie逻辑调度执行多个Job
目标:使用Oozie执行多个Job调度

分步执行:

解压官方案例模板
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxf oozie-examples.tar.gz

编写脚本
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ vi oozie-apps/shell/p2.sh

内容如下:

#!/bin/bash

/bin/date > /tmp/p2.log

3)修改job.properties和workflow.xml文件

job.properties

nameNode=hdfs://hadoop102:8020

jobTracker=hadoop103:8032

queueName=default

examplesRoot=oozie-apps

oozie.wf.application.path=n a m e N o d e / u s e r / {nameNode}/user/nameNode/user/{user.name}/${examplesRoot}/shell

EXEC1=p1.sh

EXEC2=p2.sh

workflow.xml

${jobTracker}

${nameNode}

mapred.job.queue.name

${queueName}

${EXEC1}

/user/atguigu/oozie-apps/shell/KaTeX parse error: Expected 'EOF', got '#' at position 8: {EXEC1}#?{EXEC1}

<!– my_output=Hello Oozie–>

${jobTracker}

${nameNode}

mapred.job.queue.name

${queueName}

${EXEC2}

/user/admin/oozie-apps/shell/KaTeX parse error: Expected 'EOF', got '#' at position 8: {EXEC2}#?{EXEC2}

<!– my_output=Hello Oozie–>

${wf:actionData(‘shell-node’)[‘my_output’] eq ‘Hello Oozie’}

Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

Incorrect output, expected [Hello Oozie] but was [${wf:actionData(‘shell-node’)[‘my_output’]}]

上传任务配置
$ bin/hadoop fs -rmr /user/atguigu/oozie-apps/

$ bin/hadoop fs -put oozie-apps/map-reduce /user/atguigu/oozie-apps

执行任务
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表