国外做3d模型的网站,上海网站建设市场分析,新乡商城网站建设哪家专业,商场设计公司从物理部署层面上来看#xff0c;Spark主要分为两种类型的节点#xff0c;Master节点和Worker节点#xff0c;Master节点主要运行集群管理器的中心化部分#xff0c;所承载的作用是分配Application到Worker节点#xff0c;维护Worker节点#xff0c;Driver#xff0c;Ap…从物理部署层面上来看Spark主要分为两种类型的节点Master节点和Worker节点Master节点主要运行集群管理器的中心化部分所承载的作用是分配Application到Worker节点维护Worker节点DriverApplication的状态。Worker节点负责具体的业务运行。
从Spark程序运行的层面来看Spark主要分为驱动器节点和执行器节点。 1、机器准备
准备两台以上Linux服务器安装好JDK1.8
我这里的是
ip地址系统Carlota1CentOS7.3Carlota2CentOS7.3Carlota3CentOS7.3
2、下载Spark安装包
http://spark.apache.org/downloads.html
3、上传解压
//上传
scp spark-3.0.1-bin-hadoop3.2.tgz rootCarlota1:/usr/local/apps/
scp spark-3.0.1-bin-hadoop3.2.tgz rootCarlota2:/usr/local/apps/
scp spark-3.0.1-bin-hadoop3.2.tgz rootCarlota3:/usr/local/apps///解压
tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz//改个名
mv spark-3.0.1-bin-hadoop3.2 spark-3.0.14、配置环境变量
vi /etc/profile
#Spark
export SPARK_HOME/usr/local/apps/spark-3.0.1
export PATH$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinsource /etc/profile
5、配置Spark【Standalone模式】
Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos我们选择最具代表性的Standalone集群部署模式。 进入到Spark安装目录cd /usr/local/apps/spark-3.0.1/conf 将slaves.template复制为slavescp slaves.template slaves 将spark-env.sh.template复制为spark-env.shcp spark-env.sh.template spark-env.sh 修改slaves文件将work的hostname输入vi slaves
Carlota2
Carlota3修改spark-env.sh文件vi spark-env.sh添加如下配置
SPARK_MASTER_HOSTCralota1
SPARK_MASTER_PORT7077同步数据到Carlota2和Carlota3
scp -r conf rootCarlota2:/usr/local/apps/spark-3.0.1
scp -r conf rootCarlota3:/usr/local/apps/spark-3.0.1进入sbin目录 vi spark-config.sh在下方添加
JAVA_HOME/usr/local/java/jdk1.8同步一下
scp -r spark-config.sh rootCarlota2:/usr/local/apps/spark-3.0.1/sbin
scp -r spark-config.sh rootCarlota3:/usr/local/apps/spark-3.0.1/sbinSpark集群配置完毕目前是1个Master2个Wor
6、Spark启动集群
Carlota1上启动集群./sbin/start-all.sh
[rootCarlota1 spark-3.0.1]# ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /usr/local/apps/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.master.Master-1-Carlota1.outCarlota2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/apps/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Carlota2.outCarlota3: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/apps/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Carlota3.out启动后执行jps命令主节点上有Master进程其他子节点上有Work进行
[rootCarlota1 spark-3.0.1]# jps
10551 Master
10603 Jps[rootCarlota3 spark-3.0.1]# jps
17085 Jps
16959 Worker登录Spark管理界面查看集群状态主节点http://Carlota1:8080/ 到此为止Spark集群安装完毕.
注意如果遇到 “JAVA_HOME not set” 异常可以在sbin目录下的spark-config.sh 文件中加入如下配置 export JAVA_HOMEXXXX
