网站修改联系方式,太钢建设公司官网,广西旅游 网站建设,海外电商一.Hadoop 的优化与发展
1.1 局限与不足
抽象层次低#xff0c;需要人工编码#xff1b;表达能力有限#xff1b;开发者自己管理作业之间的依赖关系#xff1b;难于看到程序的整体的逻辑#xff1b;执行迭代操作效率低;实时性差#xff1b;资源浪费#xff1b;
1.2 改…一.Hadoop 的优化与发展
1.1 局限与不足
抽象层次低需要人工编码表达能力有限开发者自己管理作业之间的依赖关系难于看到程序的整体的逻辑执行迭代操作效率低;实时性差资源浪费
1.2 改进与提升
对MapReduce 和HDFS两大核心组件进行改进 不断丰富Hadoo组件包括Pig,Tez,Spark和Kafka等。
二.HDFS2.0的新特性 2.1 HDFS HA:解决单点故障问题。 2.2 HDFS Federation 存在的问题 解决方式HDFS Federation 解决单名称节点存在的问题解决了HDFS 的集群扩展性问题性能更高效具有良好的隔离性。各自管理字节的命名空间
三.新一代资源管理调度管家YARN
3.1 MapReduce 1.0 的缺陷
存在单点故障 JobTracker 任务过重容易出现内存溢出资源划分不合理, Map Slot和Reduce Slot;
3.2 YARN 设计思路
分离出资源管理功能,单独形成YARNMapReduce 2.0变成了运行在YARN 上的纯粹的计算框架。
ResourceManager负责资源管理ApplicationMaster负责任务调度和任务监控
YARN 是一个资源管理调度框架。
3.3 YARN 体系结构 ResourceManager:全局资源管理器,负责整个系统的资源管理与分配两大核心组件如下 调度器Scheduler; 接收来自ApplicationMaster的应用程序资源请求把集群中的资源以“容器”的形式分配给提出申请的应用程序容器的选择通常会考虑应用程序所要处理的数据的位置进行就近选择从而实现“计算向数据靠拢”容器Container作为动态资源分配单位每个容器都封装了一定数量的、内存、磁盘等资源从而限定每个应用程序可以使用的资源数量。调度器被设计成一个可插拔的组件YARN不仅自身是提供了许多种直接可用的调度器也允许用户根据自己的需求重新设计调度器。 应用程序管理器Applications Manager 负责系统中所有应用程序的管理工作主要包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster 运行状态并在失败是重新启动等 ApplicationMaster ResourceManager接收用户提交的作业按照作业的上下文信息以及NodeManager收集来的容器状态信息启动调度过程为用户作业启动一个ApplicationMaster;功能 当用户提交作业时ApplicationMaster与ResourceManager协商获取资源ResourceManager会以容器的形式为ApplicationMaster分配资源把获取的资源进一步分配给内部的各个任务(Map任务和Reduce 任务)实现资源的“二次分配”与NodeManager保持交互通信进行应用程序的启动、运行、监控和停止监控申请到的资源的使用情况对所用任务的执行进度的和状态进行监控并在任务发生失败时执行失败恢复(即重新申请资源重启任务)定时向ResourceManager发送“心跳”信息报告资源的使用情况和应用的进程信息当作业完成时ApplicationMaster向 ResourceManager注销容器执行周期完成 NodeManager NodeManager 是驻留在YARN集群中的每个节点上的代理主要负责如下工作 容器生命周期管理监控每个容器的资源使用情况以“心跳的方式与ResourceManager保持通信向ResourceManager汇报作业的资源使用情况和每个容器的而运行状态跟踪节点健康状况接收来自ApplicationMaster的启动\停止容器的各种请求 部署情况
3.4 YARN 工作流程
用户编写客户端应用程序向YARN 提交应用程序YARN 中的REsourceManager负责接收和处理来自客户端的请求为用程序分配一个容器在该容器中启动一个ApplicationMaster;ApplicationMaster 被创建后会首先向ResourceManager注册ApplicationMaster 采用轮询的方式向ResourceManager申请资源ResourceManager以容器的形式向提出申请的ApplicationMaster分配资源在容器中启动任务各个任务向 ApplicationMaster 汇报自己的状态和进度应用程序运行完成后ApplicationMaster向ResourceManager的应用程序管理器注销并关闭自己
3.5 YARN框架与MapReduce1.0框架的对比分析 3.6 YARN 发展目标 四.Hadoop 中代表性的组件
4.1 Pig 组件 4.2 Tez 组件 4.3 Spark 和 Kafka组件
