织梦网站搜索页点击返回首页没有反应,子夜免费观看,乡村网络建设方案,html网页设计期末大作业在很多集群里，在关闭了Spark的DynamicAllocation的前提下（避免自动申请空闲资源，干扰测试结果），都会观察到：提交Spark作业时，申请 1 个 driver + n 个 executor 会在Yarn上对应创建 n+1 个 container，但是每个container只有一个vCore，通过--driver-cores和--executor-…在很多集群里，在关闭了Spark的DynamicAllocation的前提下（避免自动申请空闲资源，干扰测试结果），都会观察到：提交Spark作业时，申请 1 个 driver + n 个 executor 会在Yarn上对应创建 n+1 个 container，但是每个container只有一个vCore，通过--driver-cores和--executor-cores设定的vCore数都未奏效。有人会因此错误的认为Yarn上的一个vCore对应一个Spark的executor，这是非常错误的，正确的关系是：一个Saprk Executor运行在一个Yarn Container里，Executor和Container是一对一的关系。Executor申请的vCore就是Container的vCore，但后半句其实是有条件的，上面描述的就是一种例外。
实际上，上面说的：一个 spark executor / yarn container 只分配一个vCore其实挺常见的，因为这种现象和一个配置项有关，在这个配置项的默认配置下，集群的行为就是这个样子，所以这种情况出现的概率很大。下面就详细介绍一下导致这种情况发生的原因和修正方法。
1. 重要结论 在使用Capacity Scheduler的前提下，Yarn有一个配置项：yarn.scheduler.capacity.resource-calculator，它是用来指定使用哪种方法(策略）计算集群资源的，这将决定资源调度器如何为一个作业分配内存和CPU。该配置的默认值是：DefaultResourceCa
