重庆巫溪网站建设,网站里的动态是如何制作,商品关键词怎么优化,银川网站设计建设一、目的
由于Hive处理好的结果数据要同步到ClickHouse中#xff0c;因此需要在在海豚调度器中执行ClickHouse的ADS层的建库建表语句
二、执行步骤
#xff08;一#xff09;情形一#xff1a;ClickHouse和海豚在同一服务器上
1、直接在海豚中创建执行SQL文件脚本的工作…一、目的
由于Hive处理好的结果数据要同步到ClickHouse中因此需要在在海豚调度器中执行ClickHouse的ADS层的建库建表语句
二、执行步骤
一情形一ClickHouse和海豚在同一服务器上
1、直接在海豚中创建执行SQL文件脚本的工作流
1第一步在资源中心上传ADS层的建库建表SQL文件 2第二步在项目里建工作流添加运行SQL文件的脚本 #! /bin/bash source /etc/profile
clickhouse-client --user default --password hurys123 -d default --multiquery basic_ads.sql
3第三步保存并执行工作流 二情形二ClickHouse和海豚不在同一服务器上
1、在ClickHouse数据源里执行建库建表SQL语句一个任务一条SQL
1第一步在海豚中创建ClickHouse的数据源 2第二步创建海豚工作流执行建库建表SQL
注意建库和建表分开然后一个任务一条建表SQL A、建库案例 create database if not exists hurys_dc_ads;
B、建表案例 --1.2 统计数据流量表——动态分区——1小时周期 create table if not exists hurys_dc_ads.ads_statistics_volume_1hour( device_no String comment 设备编号, name Nullable(String) comment 场景, lane_no Nullable(int) comment 车道编号, lane_direction Nullable(String) comment 车道流向, section_no Nullable(Float32) comment 断面编号, coil_no Nullable(Float32) comment 线圈编号, direction Nullable(String) comment 雷达朝向, sum_volume_hour Nullable(int) comment 每小时总流量, start_time DateTime comment 开始时间, end_time DateTime comment 结束时间, day Date comment 日期 )ENGINE MergeTree PARTITION BY (day) PRIMARY KEY day order by day TTL day toIntervalMonth(12) SETTINGS index_granularity 8192;
3第三步保存并执行工作流 对于海豚调度器和ClickHouse在不在同一服务器上ADS层建库建表语句会有不同的工作流配置方式。
注意由于海豚调度器中的ClickHouse数据源一个任务只能一条SQL语句即一个; 因此不能把多个建表SQL放在一个任务中否则会运行报错因此海豚中的ClickHouse没有区分分段执行
