做网站用什么语言制作最安全,海外网络搭建,省级建设网站,企业营销管理系统目录前言:1、YARN概述2、mapreduceyarn的工作机制总结#xff1a; 目录
前言:
在了解Yarn在MR中的作用的时候需要先了解Yarn是什么。
1、YARN概述
Yarn是一个资源调度平台#xff0c;负责为运算程序提供服务器运算资源#xff0c;相当于一个分布式的操作系统平台yarn的工作机制总结 目录
前言:
在了解Yarn在MR中的作用的时候需要先了解Yarn是什么。
1、YARN概述
Yarn是一个资源调度平台负责为运算程序提供服务器运算资源相当于一个分布式的操作系统平台而mapreduce等运算程序则相当于运行于操作系统之上的应用程序 YARN的重要概念 1、 yarn并不清楚用户提交的程序的运行机制 2、 yarn只提供运算资源的调度用户程序向yarn申请资源yarn就负责分配资源 3、 yarn中的主管角色叫ResourceManager 4、 yarn中具体提供运算资源的角色叫NodeManager 5、 这样一来yarn其实就与运行的用户程序完全解耦就意味着yarn上可以运行各种类型的分布式运算程序mapreduce只是其中的一种比如mapreduce、storm程序spark程序tez …… 6、 所以spark、storm等运算框架都可以整合在yarn上运行只要他们各自的框架中有符合yarn规范的资源请求机制即可 7、 Yarn就成为一个通用的资源调度平台从此企业中以前存在的各种运算集群都可以整合在一个物理集群上提高资源利用率方便数据共享。
2、mapreduceyarn的工作机制
客户端提交程序到yarn的整个过程如下图所示
主要分为以下几个关键步骤 1、客户端发送Application的提交请求到ResourceManager。 2、客户端收到返回的存储位置信息后将相关的文件存储到HDFS对应的位置实际就是mrAPPmaster所在的node上的位置 3、向yarn申请启动mrappmaster。 4、yarn将提交的申请信息进行封装转化为一个Task放进队列中等待处理。 5、相应的node领到task运行mrappmaster将相关的Job信息下载到本地。 6、mrappmaster向yarn申请运行maptask所需的node各个node创建各自的容器container来处理maptask。 7、mrappmaster将job的相关信息发送的各个maptask所在的node上。 8、maptask的分区排序。 9、mrappmaster向yarn申请运行reducetask所需node 10、reducetask阶段 11、mrappmaster向resourcemanager申请注销自己。
yarn有内存分离机制会给一个进程提供一块固定的资源空间(CPURAM)来运行类似于一个容器此处叫做container,一个节点包含多个container。
总结
最主要了解yarn在整个MR过程中起到的作用即先通过Yarn来启动mrappmaster再通过mrappmaster来申请对应的Maptask和ReduceTask的资源内部处理任务的单元是一个Container容器任务执行完毕后mrappmaster向Yarn申请注销自己。
