淮安神舟建设招标网站,wordpress 主题增加筛选,无锡画室网站建设,wordpress字段插件0目录 1.Hadoop入门 2.linux安装hadoop 1.Hadoop入门 定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下#xff0c;开发分布式程序。充分利用集群的威力进行高速运算和存储。 优势 高可靠性#xff1a;Hadoop底层维护多…0目录 1.Hadoop入门 2.linux安装hadoop 1.Hadoop入门 定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下开发分布式程序。充分利用集群的威力进行高速运算和存储。 优势 高可靠性Hadoop底层维护多个数据副本所以即使hadoop某个计算元素或存储出现故障,也不会导致数据的丢失 高扩展性在集群间分配任务数据可方便的扩展以千计的节点 高效性在MapReduce的思想下Hadoop是并行工作的以加快任何处理速度 高容错性:能够自动将失败的任务重新分配 Hadoop 1.x;2.x和3.x的区别 HDFS概述 Hadoop Distributed File System 简称HDFS是一个分布式文件系统 HDFS架构概述 NameNodenn:存储文件的元数据如文件名文件目录结构文件属性 DataNodedn:在本地文件系统存储文件块数据以及块数据的校验和 Secondary NameNode2nn: 每隔一段时间对NameNode元数据备份 YARN概述 YetAnother Resource Negotiator 简称YARN另一种资源协调者,是Hadoop的资源管理器 YARN架构概述 ResourceManager RM整个集群资源内存、cpu等的老大 NodeManager单个节点服务器资源老大 ApplicationMaster单个任务运行的老大 Container容器相当于一台独立的服务器里面封装了任务运行所需的资源如内存、cpu、磁盘、网络等 MapReduce架构概述 MapReduce将计算过程分成2个阶段map和reduce map阶段并行处理输入数据 Reudce阶段对map结果进行汇总 补充hadoop生态圈 2.Linux安装hadoop 1.1 安装jDK略 1.2 下载安装Hadoop 解压至opt/soft目录下改名为hadoop313 更改所属用户为root 配置环境变量vim /etc/profilre配置完成后source /etc/profile # HADOOP_HOME export HADOOP_HOME/opt/soft/hadoop313 export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib export HDFS_NAMENODE_USERroot export HDFS_DATANODE_USERroot export HDFS_SECONDARYNAMENODEroot export HDFS_JOURNALNODE_USERroot export HDFS_ZKFC_USERroot export YARN_RESOURCEMANAGER_USERroot export YARN_NODEMANAGER_USERroot export HADOOP_MAPRED_HOME$HADOOP_HOME export HADOOP_COMMON_HOME$HADOOP_HOME export HADOOP_HDFS_HOME$HADOOP_HOME export HADOOP_YARN_HOME$HADOOP_HOME export HADOOP_INSTALL$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native export HADOOP_LIBEXEC_DIR$HADOOP_HOME/libexec export JAVA_LIBRARY_PATH$HADOOP_HOME/lib/native export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop 创建数据目录data 切换至hadoop目录查看目录下文件准备进行配置 cd /opt/soft/hadoop313/etc/hadoop 1.3 配置单机Hadoop 1配置core-site.xml configuration !-- 指定NameNode的地址 -- property namefs.defaultFS/name valuehdfs://kb129:9000/value /property !-- 指定hadoop数据的存储目录 -- property namehadoop.tmp.dir/name value/opt/soft/hadoop313/data/value /property !-- 配置HDFS网页登录使用的静态用户为root -- property namehadoop.http.staticuser.user/name valueroot/value /property property nameio.file.buffer.size/name value131072/value /property property namehadoop.proxyuser.root.hosts/name value*/value /property property namehadoop.proxyuser.root.groups/name value*/value /property /configuration 配置hdfs-site.xml property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/opt/soft/hadoop313/data/dfs/name/value /property property namedfs.namenode.data.dir/name value/opt/soft/hadoop313/data/dfs/data/value /property property namedfs.permissions.enabled/name valuefalse/value /property 3编辑hadoop-env.sh: 4配置yarn-site.xml configuration !-- Site specific YARN configuration properties -- !-- 每隔20s测试连接 -- property nameyarn.resourcemanager.connect.retry-interval.ms/name value20000/value /property property nameyarn.resourcemanager.scheduler.class/name valueorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler/value /property property nameyarn.nodemanager.localizer.address/name valuekb129:8040/value /property property nameyarn.nodemanager.address/name valuekb129:8050/value /property property nameyarn.nodemanager.webapp.address/name valuekb129:8042/value /property !-- 指定MapReduce走shuffle -- property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.local-dirs/name value/opt/soft/hadoop313/yarndata/yarn/value /property property nameyarn.nodemanager.log-dirs/name value/opt/soft/hadoop313/yarndata/log/value /property property nameyarn.nodemanager.vmem-check-enabled/name valuefalse/value /property /configuration 更改workers内容为kb129 4配置mapred-site.xml configuration !-- 指定MapReduce程序运行在Yarn上 -- property namemapreduce.framework.name/name valueyarn/value /property property namemapreduce.jobhistory.address/name valuekb129:10020/value /property property namemapreduce.jobhistory.webapp.address/name valuekb129:19888/value /property property namemapreduce.map.memory.mb/name value2048/value /property property namemapreduce.reduce.memory.mb/name value2048/value /property property namemapreduce.application.classpath/name value/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*/value /property /configuration 1.4 启动测试hadoop 1设置免密登录 回到根目录下配置kb129免密登录ssh-keygen -t rsa -P 将本地主机的公钥文件~/.ssh/id_rsa.pub拷贝到远程主机 kb128 的 root 用户的 .ssh/authorized_keys 文件中通过 SSH 连接到远程主机时可以使用公钥进行身份验证cat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 将本地主机的公钥添加到远程主机的授权密钥列表中以便实现通过 SSH 公钥身份验证来连接远程主机ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 rootkb128 检测登录 2bin目录下初始化集群hadoop namenode -format 开始 检查是否都开启 关闭 网页测试浏览器中输入网址http://192.168.142.129:9870/
