局域网建站软件,网络优化工程师发展前景,wordpress推送到百度,中国软件开发公司排行Airflow 简介
Airflow是一个基于有向无环图(DAG)的可编程、调度和监控的工作流平台#xff0c;它可以定义一组有依赖的任务#xff0c;按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控#xff0c;而其web管理界面同样也可以方便的管控调度任务#xff0c;并…Airflow 简介
Airflow是一个基于有向无环图(DAG)的可编程、调度和监控的工作流平台它可以定义一组有依赖的任务按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控而其web管理界面同样也可以方便的管控调度任务并且对任务运行状态进行实时监控方便了系统的运维和管理。
Airflow 特性
airflow是一个用来对例行任务进行调度的平台可以将所有有依赖关系的任务整合在一起。airflow有两个比较重要的概念DAG和task一个task表示一个任务多个有依赖关系的task组织在一起就是一个DAG。airflow中DAG和task都需要写一段python代码来实现使用者需要有部分python基础知识。我们的每一个任务task都可以归纳为一种操作Operator比如执行一段shell指令可以理解为BashOperator、运行一个spark任务可以理解为一个SparkOperator。有一些比较特殊的操作比如判断一个目录是否存在在airflow中属于SensorOperator。大数据部对airflow提交spark、mr、hive等集群任务都使用genie提交对这类任务统一封装成了GenieOperator。genie是另一个开源服务通过genie可以远程提交到多个集群
