编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

大数据任务调度框架Oozie(大数据调度工具)

wxchong 2024-07-04 09:38:00 开源技术 26 ℃ 0 评论

Oozie(驯象人)是一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。

Oozie需要部署到Java Servlet容器中运行。

Oozie的工作流必须是一个有向无环图,实际上Oozie就相当于Hadoop的一个客户端,当用户需要执行多个关联的MR任务时,只需要将MR执行顺序写入workflow.xml,然后使用Oozie提交本次任务,Oozie会托管此任务流。

Workflow 是一组 actions 集合(例如Hadoop MR作业,Pig作业),它被安排在一个控制依赖项DAG(Direct Acyclic Graph)中。“控制依赖”从一个action到另一个action,意味着第二个action不能运行,直到第一个action完成。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表