eclipse 做网站,亳州市建设局网站,网页美工培训班,重庆工厂网站建设前置知识#xff1a; 1.了解hadoop基础知识#xff0c;并能够搭建hadoop集群 2.了解hive基础知识 3.Iceberg学习笔记#xff08;1#xff09;—— 基础知识-CSDN博客 可以参考#xff1a; Hadoop基础入门#xff08;1#xff09;#xff1a;框架概述及集群环境搭建_TH… 前置知识 1.了解hadoop基础知识并能够搭建hadoop集群 2.了解hive基础知识 3.Iceberg学习笔记1—— 基础知识-CSDN博客 可以参考 Hadoop基础入门1框架概述及集群环境搭建_THE WHY的博客-CSDN博客 Hive基础知识总结-CSDN博客 环境准备
hive和iceberg的适配关系 Hive 版本 官方推荐Hive版本 Iceberg 版本 2.x 2.3.8 0.8.0-incubating – 1.1.0 3.x 3.1.2 0.10.0 – 1.1.0
注意
Iceberg与Hive 2和Hive 3.1.2/3的集成支持以下特性
创建表删除表读取表插入表INSERT into
更多功能需要Hive 4.x目前alpha版本才能支持 hive与iceberg的环境搭建 1.上传jar包到hive的路径下
mkdir auxlibcp iceberg-hive-runtime-1.1.0.jar /opt/module/hive/auxlibcp libfb303-0.9.3.jar /opt/module/hive/auxlib
auxlib文件夹通常用于存放一些用户自定义的jar包比如UDF、UDAF函数等
在hive-site.xml中可以通过hive.aux.jars.path参数绑定auxlib文件夹的路径
2.修改hive-site.xml添加配置项
propertynameiceberg.engine.hive.enabled/namevaluetrue/value
/propertypropertynamehive.aux.jars.path/namevalue/opt/module/apache-hive-3.1.2-bin/auxlib/value
/property
开启iceberg支持以及绑定jar包依赖 如果hive需要使用Tez引擎注意事项如下 1.使用Hive版本3.1.2需要TEZ版本0.10.1 2.在hive-site.xml中指定tez更新配置 property
nametez.mrreader.config.update.properties/name
valuehive.io.file.readcolumn.names,hive.io.file.readcolumn.ids/value
/property 3.从Iceberg 0.11.0开始如果Hive使用Tez引擎需要关闭向量化执行 property
namehive.vectorized.execution.enabled/name
valuefalse/value
/property 有关Tez引擎 Tez是一个由Apache开源的支持DAG作业的计算框架它直接源于MapReduce框架核心思想是将Map和Reduce两个操作进一步拆分。在Hive中Tez被用作其运行引擎性能优于Hive默认的MR引擎。这主要是因为Tez可以将多个有依赖的作业转换为一个作业这样只需写一次HDFS且中间节点较少从而大大提升作业的计算性能 有关向量化执行 Hive的向量化执行是一种优化技术它将查询操作应用于数据向量。传统的Hive执行方式是逐行处理数据而向量化模式则允许一次处理多行数据从而减少了数据处理的开销。这种模式通过将一组数据作为一个向量进行处理利用SIMD单指令多数据指令集来并行执行操作进而提高了查询的效率。然而值得注意的是开启向量化并不是万能的它需要同时满足一些条件才能发挥出效果。此外向量化查询执行在Hive 0.13.0及以后版本可用并且默认情况下是关闭的用户可以通过设置set hive.vectorized.execution来启用。 相关配置完成后开启hadoop以及HMS服务即可
nohup /opt/module/apache-hive-3.1.2-bin/bin/hive --service metastore
nohup /opt/module/apache-hive-3.1.2-bin/bin/hive --service hiveserver2
/opt/module/apache-hive-3.1.2-bin/bin/beeline -u jdbc:hive2://hadoop102:10000 -n why
Hive Catalog
catalog是database的上一层抽象翻译过来叫做“目录”
catalog的作用在于提供了远端连接的入口对元数据进行统一的管理 Iceberg支持多种不同的Catalog类型例如:Hive、Hadoop、亚马逊的AWS Glue和自定义Catalog
没有设置iceberg.catalog默认使用HiveCatalog
CREATE TABLE iceberg_test1 (i int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler; 通过STORED BY指定创建的是iceberg表 在hive4中可以简写为iceberg 设置了 iceberg.catalog的类型使用指定的Catalog类型 配置项 说明 iceberg.catalog.catalog_name.type Catalog的类型: hive, hadoop, 如果使用自定义Catalog则不设置 iceberg.catalog.catalog_name.catalog-impl Catalog的实现类, 如果上面的type没有设置则此参数必须设置适用于自定义的catalog iceberg.catalog.catalog_name.key Catalog的其他配置项
设置 iceberg.cataloglocation_based_table直接通过指定的根路径来加载Iceberg表
使用默认的catalog
CREATE TABLE iceberg_test1 (i int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler;INSERT INTO iceberg_test1 values(1);
指定catalog类型
使用 HiveCatalog
首先进行相关参数的设置
set iceberg.catalog.iceberg_hive.typehive;
set iceberg.catalog.iceberg_hive.urithrift://hadoop102:9083;
set iceberg.catalog.iceberg_hive.clients10;
set iceberg.catalog.iceberg_hive.warehousehdfs://hadoop102:8020/user/hive/warehouse/iceberg-hive;
然后创建表并插入数据通过TBLPROPERTIES指定catalog的类型
CREATE TABLE iceberg_test2 (i int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler
TBLPROPERTIES(iceberg.catalogiceberg_hive);INSERT INTO iceberg_test2 values(1); 问题说明 ①iceberg.catalog.iceberg_hive.type中iceberg_hive是自定义的名称只要和TBLPROPERTIES(iceberg.catalogiceberg_hive);中的对应起来就可以 ②iceberg.catalog.iceberg_hive.warehouse设置失效但官网的示例是这样给出的无论如何设置该参数路径仍会按照hive-site.xml中配置的来存储 但使用HadoopCatalog时有效 使用 HadoopCatalog
设置相关参数
set iceberg.catalog.iceberg_hadoop.typehadoop;
set iceberg.catalog.iceberg_hadoop.warehousehdfs://hadoop102:8020/user/hive/warehouse/iceberg-hadoop;
创建表并插入数据
CREATE TABLE iceberg_test3 (i int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler
LOCATION hdfs://hadoop102:8020/user/hive/warehouse/iceberg-hadoop/default/iceberg_test3
TBLPROPERTIES(iceberg.catalogiceberg_hadoop);INSERT INTO iceberg_test3 values(1); 注意 必须设置LOCATION且其中的路径和iceberg.catalog.iceberg_hadoop.warehouse配置的要一致否则会报错 指定路径加载
如果HDFS中已经存在iceberg格式表我们可以通过在Hive中创建Icerberg格式表指定对应的location路径映射数据
DROP TABLE IF EXISTS iceberg_test4;
CREATE EXTERNAL TABLE iceberg_test4 (i int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler
LOCATION hdfs://hadoop102:8020/user/hive/warehouse/iceberg-hadoop/default/iceberg_test3
TBLPROPERTIES (iceberg.cataloglocation_based_table);
如上例基于hdfs://hadoop102:8020/user/hive/warehouse/iceberg-hadoop/default/iceberg_test3路径创建了表iceberg_test4这样iceberg_test3中的数据就能同步到iceberg_test4中去
需要注意
①两张表的表格式需要相同
②iceberg_test4需要是外部表EXTERNAL否则修改iceberg_test4中的数据可能对iceberg_test3中的数据造成影响
③指定LOCATION时一定要注意指定正确的位置因为即使路径不存在也不会报错但数据无法同步
基本操作
创建表
创建外部表
CREATE EXTERNAL TABLE iceberg_create1 (i int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler;describe formatted iceberg_create1; 创建内部表
CREATE TABLE iceberg_create2 (i int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler;describe formatted iceberg_create2; 创建分区表
CREATE EXTERNAL TABLE iceberg_create3 (id int,name string)
PARTITIONED BY (age int)
STORED BY org.apache.iceberg.mr.hive.HiveIcebergStorageHandler;describe formatted iceberg_create3;
注意
Hive语法创建分区表不会在HMS中创建分区而是将分区数据转换为Iceberg标识分区。这种情况下不能使用Iceberg的分区转换例如days(timestamp)如果想要使用Iceberg格式表的分区转换标识分区需要使用Spark或者Flink引擎创建表 修改表
只支持HiveCatalog表修改表属性Iceberg表属性和Hive表属性存储在HMS中是同步的
ALTER TABLE iceberg_create1 SET TBLPROPERTIES(external.table.purgeFALSE);
插入表
支持标准单表INSERT INTO操作
INSERT INTO iceberg_create2 VALUES (1);
INSERT INTO iceberg_create1 select * from iceberg_create2;
在HIVE 3.x中INSERT OVERWRITE虽然能执行但其实是追加
INSERT OVERWRITE TABLE iceberg_create2 VALUES (2);
查询后发现数据并没有覆盖掉 删除表
drop table tablename
