测试数据以及脚本准备

1.创建一个MySQL的测试账号及准备测试数据

CREATE USER 'testuser'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON *.* TO 'testuser'@'%';
FLUSH PRIVILEGES;

准备测试表和数据

create database test_db default character set utf8;

创建表并插入数据

create table user(
         id int(10) primary key not null auto_increment, 
         name varchar(20) not null, 
         age int(10) not null
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;

desc user;

插入数据

2.Sqoop抽数脚本

sqoop import --connect jdbc:mysql://192.168.0.224/test_db --username testuser --password password --table user --delete-target-dir --target-dir /tmp/sqoop_test -m 4

配置工作流

1.进入Hue界面，选择”Workflows” => “Editors”=> “Workflows”

2.点击“Create”创建工作流

3.进入Workspace，将jdbc文件导入到该Workspace

4.创建Sqoop抽数作业

将Sqoop语句填入Sqoop Command

保存

5.试运行

执行成功

文件已存在

配置定时任务

1. 进入Hue界面，选择”Workflows” => “Editors”=> “Coordinators”

2.选择”Create”

3.选择”Choose a workflow”

4.选择上面所创建的工作流“My Workflow”

5.填写相关配置

此处设置循环为小时循环，可以设置小时、天、周、月、年。

6.设置开始时间与结束时间

生成任务

验证

向表再次添加数据。

第一次任务执行时间为

可以看到Yarn上存在任务

导入的文件内容与表内容一致。