少儿教育网站建设价格,传奇4端游,手机网站智能管理系统,佛山网页设计培训怎么学转载自 1.数据湖deltalake初识
1.delta特性简介
Delta Lake是Spark计算框架和存储系统之间带有Schema信息数据的存储中间层。它给Spark带来了三个最主要的功能#xff1a;
第一#xff0c;Delta Lake使得Spark能支持数据更新和删除功能#xff1b;
第二#xff0c;Del…转载自 1.数据湖deltalake初识
1.delta特性简介
Delta Lake是Spark计算框架和存储系统之间带有Schema信息数据的存储中间层。它给Spark带来了三个最主要的功能
第一Delta Lake使得Spark能支持数据更新和删除功能
第二Delta Lake使得Spark能支持事务
第三支持数据版本管理运行用户查询历史数据快照。
核心特性 ACID事务为数据湖提供ACID事务确保在多个数据管道并发读写数据时数据能保持完整性。 数据版本管理和时间旅行提供了数据快照使开发人员能够访问和还原早期版本的数据以进行审核、回滚或重现实验 可伸缩的元数据管理存储表或者文件的元数据信息并且把元数据也作为数据处理元数据与数据的对应关系存放在事务日志中 流和批统一处理Delta中的表既有批量的也有流式和sink的 数据操作审计事务日志记录对数据所做的每个更改的详细信息提供对更改的完整审计跟踪 Schema管理功能提供自动验证写入数据的Schema与表的Schema是否兼容的能力并提供显示增加列和自动更新Schema的能力 数据表操作(类似于传统数据库的SQL)合并、更新和删除等提供完全兼容Spark的Java/scala API 统一格式Delta中所有的数据和元数据都存储为Apache Parquet。
Delta的特性实现是基于事务日志比如ACID事务管理、数据原子性、元数据处理和时间旅行等功能。
Delta Lake 说白了就是一个lib库
Delta Lake 是一个lib 而不是一个service,不同于HBase,他不需要单独部署而是直接依附于计算引擎的。目前只支持Spark引擎。这意味什么呢Delta Lake 和普通的parquet文件使用方式没有任何差异你只要在你的Spark代码项目里引入delta包按标准的Spark datasource操作即可可谓部署和使用成本极低。 Delta Lake真实内容幕
Parquet文件 Meta 文件 一组操作的API Delta Lake.
所以Delta没啥神秘的和parquet没有任何区别。但是他通过meta文件以及相应的API,提供众多特性功能的支持。在Spark中使用它和使用parquet的唯一区别就是把format parquet换成detla。 上图可以看出数据湖目的实一站式提供各种数据服务。 2.delta测试
采用的Spark 3.0版本delta是0.7版本进行测试首先是导入依赖
dependency groupIdio.delta/groupId artifactIddelta-core_2.12/artifactId version0.7.0/version/dependency
spark使用delta也很简单就如使用jsoncsv等数据格式一样只需要在format函数传入delta字符串就可以了。比如创建一张表scala的表达如下
val data spark.range(0, 5)data.write.format(delta).save(tmp/delta-table)
schema信息他自己会从dataframe中推断出来。
读取一张表
spark.read.format(delta).load(tmp/delta-table).show() 3.总结
本文的目标只是让大家对delta有个大致的认识。其实delta lake的api对于spark来说基本是一致的没啥变动。delta底层是完全基于spark的而且可以支持实时和离线对于多读少更新多批次更新的场景也是可以的。
