Hadoop2.7.3上安装oozie-4.3.1（hadoop3.1.3安装详细步骤）

在mysql上 创建oozie数据库，创建oozie用户名和密码，并赋值oozie账号登陆oozie数据库的权限。

登录数据库

创建数据库Oozie

创建oozie用户名和密码

设置oozie数据库的访问权限，出现问题

?

是user表中’root’@’%’没有grant的权限

update mysql.user set Grant_priv='Y',Super_priv='Y' where user = 'root' and host = '%';

重启mysql

赋值oozie账号登陆oozie数据库的权限

安装maven-3.3.9

wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

解压缩

做个软链

配置环境变量

显示版本

这里我们需要编译oozie，所以不用阿里云仓库(很多依赖不全)，改成使用maven的中央仓库

添加镜像文件

上传工具包

解压缩

官方提供的oozie只是源码，需要自己编译，解压缩，使用以下命令编译：

./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.7.3 -Ddistcp.version=2.7.3 -Dhadoop.version=2.7.3 -Dsqoop.version=1.4.6 -DskipTests

出现错误

Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde in Central

下载不了该jar包，发现该jar包来源根本不是maven的central仓库，而是spring的

(http://repo.spring.io/plugins-release/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar)

进入~/.m2/repository/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/,清除，手工上传下载好的jar包

删除

上传

继续执行

出错了

和上面的原因一样，缺包 我们下载上传

下载地址

https://repository.cloudera.com/content/repositories/releases/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y/doxia-module-twiki-1.0-alpha-9.2y.jar

进入删除

上传

第二个包

下载地址

https://repository.cloudera.com/content/repositories/releases/org/apache/maven/doxia/doxia-core/1.0-alpha-9.2y/doxia-core-1.0-alpha-9.2y.jar

上传包

继续执行

成功了

这里有个路径

这个就是打好的包

做到这里是第三天，突然看到官网的要求是下图，决定更改下jdk版本，安装pig

我目前的jdk版本是1.7

先卸载

查询yum列表

安装

成功

安装完成路径一般在 /usr/lib/jvm，我们使用这个

配置环境变量

查看版本

Hadoop中也进行改变

vim hadoop-env.sh

vim mapred-env.sh

继续安装pig，我们将安装包解压

配置环境变量

生效查看版本

检测是否安装成功

退出运行

解压缩包oozie-4.3.1-distro.tar.gz到/usr/local/目录下，然后进入目录oozie-4.3.1,分别解压缩里面的三个压缩包oozie-client-4.3.1.tar.gz、oozie-examples.tar.gz、oozie-sharelib-4.3.1.tar.gz

三个压缩包

解压三个压缩包

tar xzvf oozie-examples.tar.gz

tar xzvf oozie-sharelib-4.3.1.tar.gz

tar xzvf oozie-client-4.3.1.tar.gz

在当前目录创建libext，然后复制hadoop的lib目录下的文件到libext

cp ${HADOOP_HOME}/share/hadoop/*/*.jar libext/

cp ${HADOOP_HOME}/share/hadoop/*/lib/*.jar libext/

下载并添加ext-2.2.zip和mysql-connector-java-5.1.38.jar驱动包到libext

启动hadoop

将mysql-connector-java-5.1.38拷贝到share/lib/sqoop中

在hdfs上创建/user/oozie目录

然后将share目录上传到hdfs中的/user/oozie目录

执行出现以下问题

但文件上传了

查了半天，看到这段话，就暂时放下没有管

找到配置文件oozie-site.xml，添加一下内容

oozie.service.JPAService.jdbc.driver

com.mysql.jdbc.Driver

oozie.service.JPAService.jdbc.url

jdbc:mysql://localhost:3306/oozie

oozie.service.JPAService.jdbc.username

oozie

oozie.service.JPAService.jdbc.password

password

oozie.service.ProxyUserService.proxyuser.hadoop.hosts

*

oozie.service.ProxyUserService.proxyuser.hadoop.groups

*

oozie.service.JPAService.create.db.schema

false

oozie.service.HadoopAccessorService.hadoop.configurations

*=/opt/bigdata/hadoop-2.7.3/etc/hadoop

oozie.service.HadoopAccessorService.action.configurations

*=/opt/bigdata/hadoop-2.7.3/etc/hadoop

oozie.service.SparkConfigurationService.spark.configurations

*=/usr/local/spark/spark-1.6.1/conf

-->

oozie.service.WorkflowAppService.system.libpath

/user/oozie/share/lib

oozie.use.system.libpath

true

oozie.subworkflow.classpath.inheritance

true

修改hadoop目录下的/opt/bigdata/hadoop-2.7.3/etc/hadoop /core-site.xml，添加

hadoop.proxyuser.jingxiao.hosts

*

hadoop.proxyuser.jingxiao.groups

*

配置环境变量

配置生效

启动与停止的脚本

bin/oozied.sh start

bin/oozied.sh stop

登录访问