网站开发信息,免费的行情网站,企业logo设计规范,注册公司费用要多少总体思路#xff0c;准备主从服务器#xff0c;配置主服务器可以无密码SSH登录从服务器#xff0c;解压安装JDK#xff0c;解压安装Hadoop#xff0c;配置hdfs、mapreduce等主从关系。 1、环境#xff0c;3台CentOS7#xff0c;64位#xff0c;Hadoop2.7需要64位Linux准备主从服务器配置主服务器可以无密码SSH登录从服务器解压安装JDK解压安装Hadoop配置hdfs、mapreduce等主从关系。 1、环境3台CentOS764位Hadoop2.7需要64位LinuxCentOS7 Minimal的ISO文件只有600M操作系统十几分钟就可以安装完成Master 192.168.0.182 Slave1 192.168.0.183 Slave2 192.168.0.184 2、SSH免密码登录因为Hadoop需要通过SSH登录到各个节点进行操作我用的是root用户每台服务器都生成公钥再合并到authorized_keys(1)CentOS默认没有启动ssh无密登录去掉/etc/ssh/sshd_config其中2行的注释每台服务器都要设置#RSAAuthentication yes#PubkeyAuthentication yes(2)输入命令ssh-keygen -t rsa生成key都不输入密码一直回车/root就会生成.ssh文件夹每台服务器都要设置(3)合并公钥到authorized_keys文件在Master服务器进入/root/.ssh目录通过SSH命令合并cat id_rsa.pub authorized_keysssh root192.168.0.183 cat ~/.ssh/id_rsa.pub authorized_keysssh root192.168.0.184 cat ~/.ssh/id_rsa.pub authorized_keys(4)把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录(5)完成ssh root192.168.0.183、ssh root192.168.0.184就不需要输入密码了 3、安装JDKHadoop2.7需要JDK7由于我的CentOS是最小化安装所以没有OpenJDK直接解压下载的JDK并配置变量即可(1)下载“jdk-7u79-linux-x64.gz”放到/home/java目录下(2)解压输入命令tar -zxvf jdk-7u79-linux-x64.gz(3)编辑/etc/profileexport JAVA_HOME/home/java/jdk1.7.0_79export CLASSPATH.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH$PATH:$JAVA_HOME/bin (4)使配置生效输入命令source /etc/profile(5)输入命令java -version完成 4、安装Hadoop2.7只在Master服务器解压再复制到Slave服务器(1)下载“hadoop-2.7.0.tar.gz”放到/home/hadoop目录下(2)解压输入命令tar -xzvf hadoop-2.7.0.tar.gz(3)在/home/hadoop目录下创建数据存放的文件夹tmp、hdfs、hdfs/data、hdfs/name 5、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml configuration property namefs.defaultFS/name valuehdfs://192.168.0.182:9000/value /property property namehadoop.tmp.dir/name valuefile:/home/hadoop/tmp/value /property property nameio.file.buffer.size/name value131702/value /property /configuration 6、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml configuration property namedfs.namenode.name.dir/name valuefile:/home/hadoop/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile:/home/hadoop/dfs/data/value /property property namedfs.replication/name value2/value /property property namedfs.namenode.secondary.http-address/name value192.168.0.182:9001/value /property property namedfs.webhdfs.enabled/name valuetrue/value /property /configuration 7、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml configuration property namemapreduce.framework.name/name valueyarn/value /property property namemapreduce.jobhistory.address/name value192.168.0.182:10020/value /property property namemapreduce.jobhistory.webapp.address/name value192.168.0.182:19888/value /property /configuration 8、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.auxservices.mapreduce.shuffle.class/name valueorg.apache.hadoop.mapred.ShuffleHandler/value /property property nameyarn.resourcemanager.address/name value192.168.0.182:8032/value /property property nameyarn.resourcemanager.scheduler.address/name value192.168.0.182:8030/value /property property nameyarn.resourcemanager.resource-tracker.address/name value192.168.0.182:8031/value /property property nameyarn.resourcemanager.admin.address/name value192.168.0.182:8033/value /property property nameyarn.resourcemanager.webapp.address/name value192.168.0.182:8088/value /property property nameyarn.nodemanager.resource.memory-mb/name value768/value /property /configuration 9、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME不设置的话启动不了export JAVA_HOME/home/java/jdk1.7.0_79 10、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves删除默认的localhost增加2个从节点192.168.0.183192.168.0.184 11、将配置好的Hadoop复制到各个节点对应位置上通过scp传送scp -r /home/hadoop 192.168.0.183:/home/scp -r /home/hadoop 192.168.0.184:/home/ 12、在Master服务器启动hadoop从节点会自动启动进入/home/hadoop/hadoop-2.7.0目录(1)初始化输入命令bin/hdfs namenode -format(2)全部启动sbin/start-all.sh也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh(3)停止的话输入命令sbin/stop-all.sh(4)输入命令jps可以看到相关信息 13、Web访问要先开放端口或者直接关闭防火墙(1)输入命令systemctl stop firewalld.service(2)浏览器打开http://192.168.0.182:8088/(3)浏览器打开http://192.168.0.182:50070/ 14、安装完成。这只是大数据应用的开始之后的工作就是结合自己的情况编写程序调用Hadoop的接口发挥hdfs、mapreduce的作用。 转http://www.linuxidc.com/Linux/2015-11/124800.htm转载于:https://www.cnblogs.com/kaid/p/7640772.html
