腾讯云网站建设视频教程,红河网络营销,1.网站建设分为哪几个阶段,网站服务器租用协议一、Catalog
Catalog 提供了元数据信息#xff0c;例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的#xff0c;例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持…一、Catalog
Catalog 提供了元数据信息例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API用于管理元数据并使其可以从 Table API 和 SQL 查询语句中来访问。前面用到Connector其实就是在使用Catalog
二、Catalog类型
GenericInMemoryCatalog GenericInMemoryCatalog 是基于内存实现的 Catalog所有元数据只在 session 的生命周期内可用。 JdbcCatalog JdbcCatalog 使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。PostgresCatalog 是当前实现的唯一一种 JDBC Catalog。 HiveCatalog HiveCatalog 有两个用途作为原生 Flink 元数据的持久化存储以及作为读写现有 Hive 元数据的接口。 Flink 的 Hive 文档 提供了有关设置 HiveCatalog 以及访问现有 Hive 元数据的详细信息。
导入需要的依赖
dependencygroupIdorg.apache.flink/groupIdartifactIdflink-connector-hive_${scala.binary.version}/artifactIdversion${flink.version}/version
/dependency
!-- Hive Dependency --
dependencygroupIdorg.apache.hive/groupIdartifactIdhive-exec/artifactIdversion3.1.2/version
/dependency在hadoop100启动hive元数据
nohup hive --service metastore /dev/null 21 连接 Hive
StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
StreamTableEnvironment tEnv StreamTableEnvironment.create(env);String name myhive; // Catalog 名字
String defaultDatabase flink_test; // 默认数据库
String hiveConfDir c:/conf; // hive配置文件的目录. 需要把hive-site.xml添加到该目录// 1. 创建HiveCatalog
HiveCatalog hive new HiveCatalog(name, defaultDatabase, hiveConfDir);
// 2. 注册HiveCatalog
tEnv.registerCatalog(name, hive);
// 3. 把 HiveCatalog: myhive 作为当前session的catalog
tEnv.useCatalog(name);
tEnv.useDatabase(flink_test);
tEnv.sqlQuery(select * from stu).execute().print();
