Azkaban--工作流调度系统

基本认识

什么是工作流workflow

一个完整的数据分析系统通常都是由大量任务单元组成:

• shell脚本程序
• java程序
• mapreduce程序
• hive脚本等
  各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度任务的执行。
  假如，我有这样一个需求，某个业务系统每天产生20G原始数据，每天都要对其进行处理，处理步骤如下所示:
• 通过Hadoop先将原始数据同步到HDFS上;
• 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中;
• 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表;
• 将明细数据进行各种统计分析，得到结果报表信息;
• 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
  如果每一步都是手动调用，就会很消耗人力来重复作业，所以需要有工作流调度系统来自动作业

工作流调度实现方式

• 简单的任务调度 -> 直接使用linux的crontab;
• 复杂的任务调度 -> 开发调度平台或使用现成的开源调度系统，比如Ooize、 Azkaban、Airflow等

Azkaban与Oozie对比

对市面上最流行的两种调度器，进行对比分析。总体来说，Ooize相比Azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂(xm)。如果可以不在意某些功能的缺失，轻量级调度器Azkaban是很不错的候选对象。

• 功能
  两者均可以调度mapreduce,pig,java,脚本工作流任务
  两者均可以定时执行工作流任务
• 工作流定义
  Azkaban使用Properties文件定义工作流
  Oozie使用XML文件定义工作流
• 工作流传参
  Azkaban支持直接传参，例如${input}
  Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}
• 定时执行
  Azkaban的定时执行任务是基于时间的
  0ozie的定时执行任务基于时间和输入数据
• 资源管理
  Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等操作
  Oozie暂无严格的权限控制
• 工作流执行
  Azkaban有两种运行模式，分别是solo server mode(executor server和web server部署在同一台节点)和multi server mode(executor server和web server可以部署在不同节点)
  Oozie作为工作流服务器运行，支持多用户和多工作流

Azkaban介绍

Azkaban是由linkedin (领英)公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Azkaban定义了一种KV文件(properties)格式来建立任务之间的依赖关系，并提供一个易于使用的web 用户界面维护和跟踪你的工作流。
有如下功能特点

• Web用户界面
• 方便上传工作流
• 方便设置任务之间的关系
• 调度工作流

架构角色
mysql服务器:存储元数据，如项目名称、项目描述、项目权限、任务状态、SLA规则等
AzkabanWebServer:对外提供web服务，使用户可以通过web页面管理。职责包括项目管理、权限授权、任务调度、监控executor。
AzkabanExecutorServer:负责具体的工作流的提交、执行。

Azkaban安装部署

1. 编译安装包

这里选用azkaban3.51.0这个版本自己进行重新编译，编译完成之后得到我们需要的安装包进行安装

cd /opt/lagou/software/  
wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz   
tar -zxvf 3.51.0.tar.gz -C ../servers/  
cd /opt/1agou/servers/azkaban-3.51.0/  
yum -y install git  
yum -y install gcc-c++  
./gradlew build installDist -x test  

编译成功之后生成的文件

azkaban-db-0.1.0-SNAPSHOT.tar.gz  
azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz  
azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz  
azkaban-web-server-0.1.0-SNAPSHOT.tar.gz  

2. solo-server模式部署

单服务模式安装

• 解压 azkaban的solo server使用的是一个单节点的模式来进行启动服务的，只需要一个azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz的安装包即可启动，所有的数据信息都是保存在H2这个azkaban默认的数据当中

  tar -zxvf azkaban-solo-server-0.1.0-sNAPSH0T.tar.gz-c../../servers/azkaban  
  

• 修改配置文件 修改时区配置⽂件

  cd/opt/1agou/servers/azkaban-solo-server-0.1.0-SNAPSH0T/conf   
  vim azkaban.properties  
      
  default.timezone.id=Asia/Shanghai  
  

  修改commonprivate.properties配置文件

  cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT/plugins/jobtypes   
      
  vim commonprivate.properties  
      
  execute.as.user=false   
  memCheck.enabled=false  
  

  azkaban默认需要3G的内存，剩余内存不足则会报异常。

• 启动solo-server

  cd/opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT  
      
  bin/start-solo.sh  
  

  启动成功后

  jps  
      
  # 可以看到对应的服务已启动  
  AzkabanSingleServer  
  

• 浏览器⻚面访问 浏览器访问主机名:8081端口
  http://centos7-2:8081/index

  登录信息
  用户名:azkaban
  密码:azkaban

• 测试一下 编写一个job

  vim foo.job  
      
  type=command  
  command=echo 'Hello World'  
      
  zip foo.job  
  

  上传zip文件，在web端执行

3. multiple-executor模式部署

• 安装所需软件 Azkaban Web服务安装包
  azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
  Azkaban执行服务安装包
  azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
  sql脚本

• 节点规划
  

• 数据库准备 解压数据库脚本

  tar -zxvf azkaban-db-0.1.0-SNAPSH0T.tar.gz -C /opt/lagou/servers/azkaban  
      
  # 进入解压后的文件夹, 复制create-all-sql-0.1.0-SNAPSHOT.sql 的全路径，后面会用到  
  

  进入centos7-3的mysql的客户端

  CREATE DATABASE azkaban;  
  use azkaban;  
  source /opt/lagou/servers/azkaban/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-SNAPSHOT.sql;  
  

• 配置Azkaban-web-server 进入centos7-2节点
  解压azkaban-web-server

  mkdir /opt/lagou/servers/azkaban  
  tar -zxvf azkaban-web-server-0.1.0-SNAPSH0T.tar.gz -C /opt/lagou/servers/azkaban/  
  

  修改azkaban-web-server的配置文件

  cd /opt/1agou/servers/azkaban-web-server-3.51.0/conf   
  vim azkaban. properties  
      
  # 1. 修改时区，注意后面不要有空格  
  default.timezone.id=Asia/Shanghai  
  # 2. 修改并记住这个端口，后面web端访问会用到  
  jetty.port=8443  
      
  # 3. 修改mysql相关配置，使用一个可以远程访问的账号  
  database.type=mysql  
  mysql.port=3306  
  mysql.host=centos7-3  
  mysql.database=azkaban  
  mysql.user=root  
  mysql.password=12345678  
  mysql.numconnections=100  
      
  # 4. 注释掉如下代码， 不然机器配置不足就会启动失败  
  #azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus  
  

  添加属性

  mkdir -p plugins/jobtypes  
  cd plugins/jobtypes/  
  vim commonprivate.properties  
      
  azkaban.native.lib=false  
  execute.as.user=false  
  memCheck.enabled=false  
  

• 配置Azkaban-exec-server
  1. 解压安装包

     tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ../../servers/azkaban/  
     

  2. 修改azkaban-exec-server的配置文件

  cd/opt/1agou/servers/azkaban-exec-server-3.51.0/conf   
  vim azkaban.properties  
      
  # 1. 修改时区  
  default.timezone.id=Asia/Shanghai  
      
  # 2. 修改webserver url  
  azkaban.webserver.url=http://centos7-2:8443  
      
  # 3. 修改mysql的配置  
  # Azkaban mysql settings by default. Users should configure their own username and password.  
  database type=mysql  
  mysql.port=3306  
  mysql.host=centos7-3  
  mysql.database=azkaban  
  mysql.user=root  
  mysql.password=12345678  
  mysql.numconnections=100  
      
  # 4. 增加port信息，随便写，不被占用就行  
  # Azkaban Executor settings  
  executor.port=12321  
  

  1. 修改commonprivate.properties配置文件

  cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT/plugins/jobtypes   
      
  vim commonprivate.properties  
      
  execute.as.user=false   
  memCheck.enabled=false  
  

  azkaban默认需要3G的内存，剩余内存不足则会报异常。

  1. 分发exec-server到centos7-1节点

  scp -r azkaban-exec-server-3.51.0 centos7-1:$PWD  
  

• 启动服务

  #分别在centos7-1, centos7-3启动exec-server   
  bin/start-exec.sh   
  #在centos7-2启动web-server  
  bin/start-web.sh  
  

  会发现webserver启动失败，在webserver的根目录下可以查看错误日志

  Error: No active executor found  
  

  激活我们的exec-server, 需要手动激活executor在centos7-1,centos7-3上分别执行

  cd /opt/lagou/servers/azkaban/exec-server-0.1.0/  
  curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo  
  

• 访问web端 网站:
  http://centos7-2:8443

  用户: azkaban
  密码: azkaban

Azkaban使⽤

shell command调度

创建job描述文件

vi command.job  
  
type=command  
command=echo 'hello'  

将job资源文件打包成zip文件

zip command.job  

通过azkaban的web管理平台创建project并上传job压缩包

job依赖调度

创建有依赖关系的多个job描述第一个job:foo.job

foo.job  
type=command  
command=echo 'foo'  

第二个job:bar.job依赖foo.jobbar.job

type=command  
dependencies=foo   
command=echo 'bar'  

将所有job资源⽂件打到⼀个zip包中
在azkaban的web管理界面创建⼯程并上传zip包, 启动⼯作流flow

HDFS任务调度

创建job描述文件fs.job

type=command  
command=/opt/lagou/servers/hadoop-2.9.2/bin/hadoop fs -mkdir /azkaban  

将job资源文件打包成zip文件
通过azkaban的web管理平台创建project并上传job压缩包启动执行该job

MAPREDUCE任务调度

mr任务依然可以使用command的job类型来执行
创建job描述文件，及mr程序jar包(示例中直接使用hadoop自带的example jar)

vim mrwc.job  
  
type=command  
command=/opt/1agou/servers/hadoop-2.9.2/bin/hadoop jar hadoop-mapreduce- examples-2.9.2.jar wordcount /wordcount/input /wordcount/azout  

将所有job资源文件打到一个zip包中
在azkaban的web管理界面创建工程并上传zip包启动job

• linux内存不足解决

  # 查看缓存  
  free -m  
  # 清除缓存  
  echo 1 > /proc/sys/vm/drop_caches  
  echo 2 > /proc/sys/vm/drop_caches  
  echo 3 > /proc/sys/vm/drop_caches  
  

HIVE脚本任务调度

创建job描述文件和hive脚本Hive脚本: test.sql

use default;  
drop table aztest;  
create table aztest(id int,name string)   
row format delimited   
fields terminated by ',';  

Job描述文件:hive.job

type=command  
command=/opt/1agou/servers/hive-2.3.7/bin/hive -f 'test.sql'  

将所有job资源文件打到一个zip包中创建工程并上传zip包,启动job

定时任务调度

web界面启动的时候使用schedule就可以了