文山州中小企业网站建设,店铺设计图纸及效果图大全,淘宝客网站api,东莞网络营销代运营Lambda架构主要分为三层#xff0c;批处理层、加速层和服务层。 如下图所示#xff1a; #xff08;1#xff09;批处理层#xff08;Batch Layer#xff09;#xff1a;存储数据集#xff0c;在数据集上预先计算查询函数#xff0c;并构建查询对应的view。Batch Lay…Lambda架构主要分为三层批处理层、加速层和服务层。 如下图所示 1批处理层Batch Layer存储数据集在数据集上预先计算查询函数并构建查询对应的view。Batch Layer可以很好地处理离线数据。当很多场景需要实时查询的时候则需要Speed Layer
2加速层Speed Layerbatch layer处理的是全体数据集speed layer处理的是增量数据流。Speed layer接收到数据后会不断更新Real-time view而Batch Layer是根据全体离线数据集直接得到Batch View。
3服务层serving layerServing layer用于合并Batch View 和Real-time view中的结果数据集到最终数据集。
1、批处理
批处理有两个核心功能存储数据集和生成Batch View。该层主要负责主数据集主数据集有以下三个属性
1数据是原始的
2数据是不可变的
3数据永远真实的
2、加速层
它存储实时视图并传入数据流以便更新这些视图。
Speed Layer和Batch Layer的区别如下
1speed layer处理数据是最近的增量数据流batch layer是全体数据集。
2Speed layer为了效率接收到新数据时不断更新Real-time view而Batch Layer是根据全体离线数据集直接得到Batch View。
分为加速层和批量层的好处有哪些
容错性当speed layer重新计算后当前的real-time view就可以丢弃而batch view也是重新计算的。
复杂性隔离批量处理离线数据很好掌握加速层处理增量数据隔离出来。
Scale out横向扩展通过增加机器来扩展而不是增加机器性能scale up。
3、服务层
用于响应用户查询合并batch view和real-time view中的结果集得到最终数据集。该层提供了主数据集上执行的计算结果的低延迟访问。读取速度可以通过数据附加的索引来加速。
