川菜餐馆网站建设模板美食餐厅企业建站php源码程序,如何创建微信小程序商城,南宁网站优化推广方案,营销策划是干嘛的转自#xff1a;http://www.cnblogs.com/baiboy/p/4640640.html 摘要: hadoop集群配置系列文档#xff0c;是笔者在实验室真机环境实验后整理而得。以便随后工作所需#xff0c;做以知识整理#xff0c;另则与博客园朋友分享实验成果#xff0c;因为笔者在学习初期#x…转自http://www.cnblogs.com/baiboy/p/4640640.html 摘要: hadoop集群配置系列文档是笔者在实验室真机环境实验后整理而得。以便随后工作所需做以知识整理另则与博客园朋友分享实验成果因为笔者在学习初期也遇到不少问题。但是网上一些文档大多互相抄袭里面错误百出。笔者结合自学书籍视频等资料完成这一套配置资料。实验结果和过程经过反复测试无误后方整理出来的。配置过程中初学者若有实验环境可以在真机环境下完成若无条件可补习下虚拟机与Linux操作系统的基础知识以及里面对linux常规命令使用建议读者边配置学学习。本文原创/整理转载请标注原文出处: Hadoop集群的配置二 白宁超 2015年7月12日10:40:04 相关文章 【Oracle RAC集群搭建1】 集群概念介绍【Oracle RAC集群搭建2】 ORACLE集群概念和原理【Oracle RAC集群搭建3】 RAC 工作原理和相关组件【Oracle RAC集群搭建4】 缓存融合技术【Oracle RAC集群搭建5】 RAC 特殊问题和实战经验【Oracle RAC集群搭建6】 ORACLE 11 G版本2 RAC在LINUX上使用NFS安装前准备【Oracle RAC集群搭建7】 ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC集群安装【Oracle RAC集群搭建8】 ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC数据库安装【Oracle RAC集群搭建9】 ORACLE ENTERPRISE LINUX 5.7下DATABASE 11G RAC基本测试与使用 【MySql集群搭建】 真机环境下MySQL-Cluster搭建文档 【Hadoop集群搭建1】Hadoop集群的配置 【Hadoop集群搭建2】Hadoop集群的配置 2.8 节点之间的免密码通信 1.什么是SSH SSH是Secure Shell的缩写由IETF的网络工作小组Network Working Group所制定SSH为建立在应用层和传输层基础上的安全协议。SSH是目前较可靠专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。 从客户端来看SSH提供两种级别的安全验证。 第一种级别 基于口令的安全验证 只要知道自己的帐号和口令就可以登录到远程主机。所有传输的数据都会被加密但是不能保证你正在连接的服务器就是你想连接的服务器。可能会有别的服务器在冒充真正的服务器也就是受到“中间人”这种方式的攻击。 第二种级别 基于密匙的安全验证 需要依靠密匙也就是你必须为自己创建一对密匙并把公用密匙放在需要访问的服务器上。如果你要连接到SSH服务器上客户端软件就会向服务器发出请求请求用你的密匙进行安全验证。服务器收到请求之后先在该服务器上你的主目录下寻找你的公用密匙然后把它和你发送过来的公用密匙进行比较。如果两个密匙一致服务器就用公用密匙加密“质询”challenge并把它发送给客户端软件。客户端软件收到“质询”之后就可以用你的私人密匙解密再把它发送给服务器。 用这种方式你必须知道自己密匙的口令。但是与第一种级别相比第二种级别不需要在网络上传送口令。 第二种级别不仅加密所有传送的数据而且“中间人”这种攻击方式也是不可能的因为他没有你的私人密匙。但是整个登录的过程可能需要10秒。 2.虚拟机拷贝节点 关闭当前CentOS然后右击CentOS选择“管理”--“克隆”。 分别完成CentOS1、CentOS2、CentOS3的克隆工作然后分别启动重复2.2修改网络用pietty登录重复2.5的操作步骤更改相应主机名。 思考node节点上的hosts和其他节点上的hosts一样吗其中hosts文件还不算大手工改也不会耗费太多时间如果搭建的是几百个节点的集群呢 我们可以登录node节点把node节点上的hosts远程拷贝到其他节点。 使用scp命令 scp fromAdd toAdd 如图 注意其中出现了和我们第一次连接出现的提示The authenticity of host node1 (192.168.10.101) cant be established.我们确认连接方安全输入“yes”回车输入node1密码连接成功打开known_hosts我们可以看到生成的密钥 以后再与node1不会再出现提示因为在known_hosts已经加入了node1。但仍然需要输入密码下面我们解决免密码登录的问题读者先完成其他节点的hosts拷贝。 3.SSH免密码登录 在各节点上生成各自SSH秘钥对命令中的rsa可以改成dsa安全性更高以node1为例。 在本机上生成authorized_keys并验证能否对本机进行SSH无密码登陆。 所有节点都生成自己的authorized_keys之后通过ssh-copy-id命令拷贝各自的公钥到node2节点可以随机指定某个存在的节点下面以node1节点为例node1节点的公钥复制到node2节点中并加入到授权的key中并验证是否配置成功。 以下是node2节点完成公钥复制后的文件。 由此可见所有节点都已经加入了[微软用户1] 只要通过远程拷贝那么节点之间就可以实现免密码登录了。 只要在node2节点上执行 scp /root/.ssh/authorized_keys node:/root/.ssh/;scp /root/.ssh/authorized_keys node1:/root/.ssh/;scp /root/.ssh/authorized_keys node3:/root/.ssh/ 这样就可以测试节点之间的登录了。 2.9 Hadoop启动和测试 1.格式化文件系统 在node节点上首先格式化namenode执行命令hdfs namenode -format 在出现提示信息的最后第二行出现“Exiting with status 0”表示格式化成功在UNIX中0表示成功1表示失败因此读者如果返回“Exiting with status 1”应该好好分析下前面的错误提示信息一般来说是因为前面配置文件和hosts文件问题修改后一定要同步到其他节点上保持相同环境。 注意有些读者以前用hadoop1.2或者更靠前的版本会习惯用hadoop namenode -format格式化这个时候会弹出一条WARNING信息警告脚本已过时但不会影响结果因为Hadoop2.2版本对之前的Hadoop命令几乎都兼容。 注意格式化前可以先自定义集群名字如果未定义系统将自动生成[微软用户2] 。 hadoop namenode -format -clusterid clustername 2.启动HDFS 使用start-dfs.sh开启hadoop dfs服务。 通过上面可以看到我们启动了HDFSnode节点作为namenodenode1、node2、node3作为datanode而node1也作为secondnamenode。 可以通过jps命令验证。Jps也是Windows上面的命令表示开启的Java进程。当出现如下结果表示验证成功。 同样也可以通过网络验证HDFSs情况在Lunix环境下在Web浏览器中输入http://node:50070当然也可以在Windows环境中通过该URL访问只需修改如下文件 C:\Windows\System32\drivers\etc\hosts 添加192.168.10.100 node即可。 3.启动YARN集群 在主节点node[微软用户4] 上执行命令start-yarn.sh 通过输出可以看到namenode已经作为了resourcemanager而其他三个节点分别作为nodemanager。通过命令tail -f /home/hadoop/hadoop2.2/logs/yarn-root-resourcemanager-node.out 可以查看启动日志。 或者查看启动对应进程情况 jps 其他节点可以通过类似命令验证当然最方便的是输入地址http://node:8088/。 NodeManager运行在从节点上可以通过Web控制台查看对应节点的资源状态如节点s1http://node1:8042/ 4.管理JobHistory Server 启动可以[微软用户5] JobHistory Server能够通过Web控制台查看集群计算的任务的信息执行如下命令 mr-jobhistory-daemon.sh start historyserver 通过访问http:// node:19888/查看任务执行历史信息。 终止JobHistory Server执行如下命令mr-jobhistory-daemon.sh stop historyserver 5.集群验证 可以使用Hadoop自带的WordCount例子进行验证。先在HDFS创建几个数据目录 hadoop fs -mkdir -p /data/wordcount hadoop fs -mkdir -p /output/ 目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件运行这个MapReduce任务的结果输出到/output/wordcount目录中。 将本地文件上传到HDFS中 hadoop fs -put /home/hadoop/hadoop2.2/etc/hadoop/*.xml /data/wordcount/ 可以查看上传后的文件情况执行如下命令 hadoop fs -ls /data/wordcount 可以看到上传到HDFS中的文件。 下面运行WordCount例子执行如下命令 hadoop jar /home/hadoop/hadoop2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount 通过http://node:8088/可以看到节点的运行情况。 运行结束后可以通过如下命令查看结果 hadoop fs -cat /output/wordcount/part-r-00000 | head 以后我们掌握了相关api后可以自己编写切词统计程序。 6.需要了解的默认配置 在Hadoop 2.2.0中YARN框架有很多默认的参数值如果是在机器资源比较不足的情况下需要修改这些默认值来满足一些任务需要。 NodeManager和ResourceManager都是在yarn-site.xml文件中配置的而运行MapReduce任务时是在mapred-site.xml中进行配置的。 下面看一下相关的参数及其默认值情况 3.动态管理节点了解 3.1动态增加和删除datanode 总的来说正确的做法是优先通过配置文件再在具体机器上进行相应进程的启动/停止操作。 1. 配置文件 在namenode下修改配置文件在hadoop 0.x中上述配置存放在文件conf/hadoop-site.xml中在hadoop 2.x中变化很大文件为conf/hdfs-site.xml中参数名为dfs.namenode.hosts和fs.namenode.hosts.exclude。参数作用 dfs.hosts:[微软用户6] Names a file that contains a list of hosts that are permitted to connect to the namenode. The full pathname of the file must be specified. If the value is empty, all hosts are permitted. dfs.hosts.exclude: Names a file that contains a list of hosts that are not permitted to connect to the namenode. The full pathname of the file must be specified. If the value is empty, no hosts are excluded 用法说明 修改hdfs-site.xml添加 View Code 如果不需要允许列表就不要创建对应项了。然后创建value所指定的文件一行写一个主机名。在新slave上进行相关配置。在master上的slave列表加入该slave非必须方便以后重启cluster用(若有)在datanode-allow.list中加入该slave在slave上启动datanode进程运行hadoop-daemon.sh start datanode 2. 添加 3. 删除 极端不建议直接在slave上通过hadoop-daemon.sh stop datanode 命令关掉datanode这会导致HDFS中出现missing block具体步骤如下 在master上修改datanode-deny.list添加相应机器在master上刷新节点配置情况hadoop dfsadmin -refreshNodes 此时在Web UI上就可以看到该节点变为Decommissioning状态过一会就变为Dead了。也可以通过hadoop dfsadmin -report命令查看。 namenode.stale.datanode.interval 在slave上关闭datanode进程非必须 运行 hadoop-daemon.sh stop datanode 4. 重新加入各个删除的节点 在master的datanode-deny.list删除相应机器在master上刷新节点配置情况hadoop dfsadmin -refreshNodes 在slave上重启datanode进程hadoop-daemon.sh start datanode 注意如果之前没有关闭该slave上的datanode进程需要先关闭再重新启动。 3.2. 动态修改TaskTracker 1. 配置文件 对于hadoop 2.x下[微软用户7] 在namenode下修改配置文件conf/mapred-site.xml。关键参数mapred.hosts和mapred.hosts.exclude。 参数作用和datanode的对应项一样。 修改mapred-site.xml添加参数 View Code 然后创建value所指定的文件。一行写一个主机名。 2. 添加 在新slave上进行相关配置。在master上的slave列表加入该slave非必须方便以后重启cluster用若有[微软用户8] 在tasktracker-allow.list中加入该slave在slave上启动tasktracker进程运行hadoop-daemon.sh start tasktracker 注意可以用jps命令查看机器上的java进程的pid和进程名。 3. 删除 不建议直接在slave上通过hadoop-daemon.sh stop tasktracker命令关掉tasktracker这会导致namenode认为这些机器暂时失联在一个超时时间内默认10min30s依然假设它们是正常的还会将任务发送给它们。 在master上修改tasktracker-deny.list添加相应机器在master上刷新节点配置情况hadoop mradmin -refreshNodes 此时在Web UI上立即就可以看到Nodes的数量减少了而Exclude Nodes的数量增加了。可以点进去具体查看。 在slave上关闭tasktracker进程非必须运行hadoop-daemon.sh stop tasktracker 4. 重新加入各个删除的节点 在master的tasktracker-deny.list删除相应机器在master上刷新节点配置情况hadoop mradmin -refreshNodes 在slave上重启tasktracker进程hadoop-daemon.sh start tasktracker 注意如果之前没有关闭该slave上的tasktracker进程需要先关闭再重新启动。 hadoop配置完转载于:https://www.cnblogs.com/Jace06/articles/6842838.html
