编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

2021版大数据知识点之oozie(大数据的知识)

wxchong 2024-07-04 09:37:59 开源技术 12 ℃ 0 评论

1.oozie 是什么

oozie 是一个定时调度工具

oozie本质就是一个作业协调工具(底层原理是通过将xml语言转换成mapreduce程序来做,但只是在集中map端做处理,避免shuffle的过程。),所以我对它的暂时的定位就是会用,能解决问题就行,暂时没有进行深入研究。

2.三个主要概念

分别是workflow,coordinator,bundle。

3.Workflow

工作流,由我们需要处理的每个工作组成,进行需求的流式处理。

4.Coordinator

协调器,可以理解为工作流的协调器,可以将多个工作流协调成一个工作流来进行处理。

5.Bundle

捆,束。将一堆的coordinator进行汇总处理。

6.oozie各个组件之间的关系


7.节点类型

Oozie的节点分成两种,流程控制节点和动作节点。所谓的节点实际就是一组标签。两种节点分别

如下:

8. 流程控制节点

u ——定义workflow的开始

u ——定义workflow的结束

u ——实现switch功能

标签连用

u ——调用子workflow

u ——程序出错后跳转到这个节点执行相关操作

u ——并发执行workflow

u ——并发执行结束(与fork一起使用)

9.动作节点

u ——表示运行的是shell操作

u ——表示运行的java程序

u ——表示是对hdfs进行操作

u ——表示进行的是MR操作

u ——表示进程的是hive操作

u ——表示进行的是sqoop的相关操作

10.Oozie Cli命令 启动任务

oozie job -oozie oozie_url -config job.properties_address-run

12.Oozie Cli命令 停止任务

oozie job -oozie oozie_url -kill jobId -oozie-oozi-W

13.Oozie Cli命令 提交任务

oozie job -oozie oozie_url -config job.properties_address -submit

14.Oozie Cli命令 开始任务

oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi-W

15.Oozie Cli命令 查看任务执行情况

oozie job -oozieoozie_url -config job.properties_address -info jobId -oozie-oozi-W

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表