国内设计师个人网站欣赏,学校网站建设介绍,苏州建站免费模板,苏州建设公司网站建设一、分区
简介
为了对表进行合理的管理以及提高查询效率#xff0c;Hive可以将表组织成“分区”。
分区是表的部分列的集合#xff0c;可以为频繁使用的数据建立分区#xff0c;这样查找分区中的数据时就不需要扫描全表#xff0c;这对于提高查找效率很有帮助。
分区是…一、分区
简介
为了对表进行合理的管理以及提高查询效率Hive可以将表组织成“分区”。
分区是表的部分列的集合可以为频繁使用的数据建立分区这样查找分区中的数据时就不需要扫描全表这对于提高查找效率很有帮助。
分区是一种根据“分区列”partition column的值对表进行粗略划分的机制。Hive中每个分区对应着表很多的子目录将所有的数据按照分区列放入到不同的子目录中去。
为什么要分区
庞大的数据集可能需要耗费大量的时间去处理。在许多场景下可以通过分区的方法减少每一次扫描总数据量这种做法可以显著地改善性能。
数据会依照单个或多个列进行分区通常按照时间、地域或者是商业维度进行分区。比如vido表分区的依据可以是电影的种类和评级另外按照拍摄时间划分可能会得到更一致的结果。为了达到性能表现的一致性对不同列的划分应该让数据尽可能均匀分布。最好的情况下分区的划分条件总是能够对应where语句的部分查询条件。
Hive的分区使用HDFS的子目录功能实现。每一个子目录包含了分区对应的列名和每一列的值。但是由于HDFS并不支持大量的子目录这也给分区的使用带来了限制。我们有必要对表中的分区数量进行预估从而避免因为分区数量过大带来一系列问题。
Hive查询通常使用分区的列作为查询条件。这样的做法可以指定MapReduce任务在HDFS中指定的子目录下完成扫描的工作。HDFS的文件目录结构可以像索引一样高效利用。
二、分桶桶表
简介
桶是通过对指定列进行哈希计算来实现的通过哈希值将一个列名下的数据切分为一组桶并使每个桶对应于该列名下的一个存储文件。
为什么要分桶
在分区数量过于庞大以至于可能导致文件系统崩溃时我们就需要使用分桶来解决问题了。
分区中的数据可以被进一步拆分成桶不同于分区对列直接进行拆分桶往往使用列的哈希值对数据打散并分发到各个不同的桶中从而完成数据的分桶过程。
注意hive使用对分桶所用的值进行hash并用hash结果除以桶的个数做取余运算的方式来分桶保证了每个桶中都有数据但每个桶中的数据条数不一定相等。
哈希函数的选择依赖于桶操作所针对的列的数据类型。除了数据采样桶操作也可以用来实现高效的Map端连接操作。
记住在数据量足够大的情况下分桶比分区更高的查询效率。
三、总结
分区和分桶最大的区别就是分桶随机分割数据库分区是非随机分割数据库。
因为分桶是按照列的哈希函数进行分割的相对比较平均而分区是按照列的值来进行分割的容易造成数据倾斜。
其次两者的另一个区别就是分桶是对应不同的文件细粒度分区是对应不同的文件夹粗粒度。
注意普通表外部表、内部表、分区表这三个都是对应HDFS上的目录桶表对应是目录里的文件
