蓝色风格的网站,株洲做网站多少钱,开公司的流程,海外服务器怎么搭建DolphinSchedulerAirFlow稳定性单点故障去中心化的多Master和多Worke是#xff08;单一调度程序#xff09;HA额外要求不需要(本身就支持HA)Celery / Dask / Mesos Load Balancer DB过载处理任务队列机制#xff0c;单个机器上可调度的任务数量可以灵活配置#xff0c;当…DolphinSchedulerAirFlow稳定性单点故障去中心化的多Master和多Worke是单一调度程序HA额外要求不需要(本身就支持HA)Celery / Dask / Mesos Load Balancer DB过载处理任务队列机制单个机器上可调度的任务数量可以灵活配置当任务过多时会缓存在任务队列中不会造成机器卡死任务太多时会卡死服务器易用性DAG监控界面任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然不能直观区分任务类型可视化流程定义是所有流程定义操作都是可视化的通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统提供api方式的操作否通过python代码来绘制DAG使用不便特别是对不会写代码的业务人员基本无法使用快速部署一键部署集群化部署复杂功能是否能暂停和恢复支持暂停非真暂停恢复操作否(只能先将工作流杀死再重新运行)是否支持多租户支持DolphinScheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系这对大数据作业的调度是非常重要的否只支持多用户任务类型支持传统的shell任务同时支持大数据平台任务调度 MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Procedure、Sub_ProcessBashOperator、DummyOperator、MySqlOperator、HiveOperator、EmailOperator、HTTPOperator、SqlOperator契合度支持大数据作业spark,hive,mr的调度同时由于支持多租户与大数据业务更加契合由于不支持多租户在大数据平台业务使用不够灵活任务重跑支持失败任务重跑但是不能指定从任意一个任务开始重跑可以指定从任意一个任务节点开始重跑跳过某些任务/运行节点是否跨项目依赖否否项目内依赖是在一个项目中前驱依赖可以指定不同工作流中任意一个任务后继依赖可以指定一整个工作流但是无法指定其他工作流中的任意一个任务是将DAG定义在一个脚本中扩展性是否支持自定义任务类型是是是否支持集群扩展是(调度器使用分布式调度整体的调度能力会随便集群的规模线性增长Master和Worker支持动态上下线)是(但是Executor水平扩展复杂)监控告警服务状态监控是否告警类型自带邮件告警支持分组监控告警不自带告警系统版本系统版本要求均7.0以上暂无任务迁移支持任务迁移/Copy是否支持组件命令支持Python命令是是支持Hive-SQL命令是是支持Shell命令是是支持Http命令是是支持Sqoop命令是否支持Spark命令是否支持Flink命令是否支持MR命令是否支持Datax命令是否支持Hadoop命令否否
