网站开发所需人员,小型培训机构管理系统,wordpress绿锁,长沙模板建站哪家好一、集群安装条件前置
实验spark安装在【Hadoop入门#xff08;二#xff09;集群安装】机器上#xff0c; 已完成安装jdk,hadoop和ssh、网络等配置环境等。
spark所依赖的虚拟机和操作系统配置
环境#xff1a;ubuntu14 spark-2.4.4-bin-hadoop2.6jdk1.8ssh
虚拟机二集群安装】机器上 已完成安装jdk,hadoop和ssh、网络等配置环境等。
spark所依赖的虚拟机和操作系统配置
环境ubuntu14 spark-2.4.4-bin-hadoop2.6jdk1.8ssh
虚拟机vmware10 二、standalone安装环境设置
1下载spark
spark官网由于本人使用hadoop2.6所有下载spark-2.4.4-bin-hadoop2.6。 2上传到linux系统解压
tar xvf spark-2.4.4-bin-hadoop2.6.tar.gz
#放在统一的软件目录下
mv spark-2.4.4-bin-hadoop2.6 software/
#别名
ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4
3 配置spark-env.sh
注意文件名空格问题
cd ~/spark-2.4.4/conf/
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
编辑spark-env.sh添加以下内容
SPARK_MASTER_PORT7077
SPARK_MASTER_IPhadoop01
#单机器work的数量
SPARK_WORK_INSTANCES1
#spark主
MASTERspark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}export JAVA_HOME/home/mk/jdk1.8
4配置slaves
cd ~/spark-2.4.4/conf/
cp slaves.template slaves
vim slaves 编辑slaves添加以下内容
hadoop01
hadoop02
hadoop03 5复制到hadoop02、hadoop03
scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mkhadoop02:/home/mk/software/
scp -r /home/mk/software/spark-2.4.4-bin-hadoop2.6 mkhadoop03:/home/mk/software/#hadoop02机器别名
ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4#hadoop03机器别名
ln -s software/spark-2.4.4-bin-hadoop2.6 spark-2.4.4三、启动spark
1启动
~/spark-2.4.4/sbin/start-all.sh hadoop01检查 hadoop02检查 hadoop03检查 启动成功。
sparkUI浏览器进行访问http://hadoop01:8080/ 2运行spark计算PI例子
spark-2.4.4/bin/run-example --master spark://hadoop01:7077 SparkPi Pi is roughly 3.1451157255786283关闭spark
~/spark-2.4.4/sbin/stop-all.sh
