高职两学一做专题网站,重庆今天重大新闻,国家企业信息公示网查询全国官网,陕西手机网站建站本篇博客将主要介绍如何设置和配置单节点Hadoop安装#xff0c;以便我们可以使用Hadoop 的MapReduce与HDFS快速执行简单的操作。 零、先决条件
1、本系列以Ubuntu Linux作为开发和生产平台 2、Linux所需的软件包括#xff1a;
JAVA#xff1a;必须安装Java#xff0c;配置… 本篇博客将主要介绍如何设置和配置单节点Hadoop安装以便我们可以使用Hadoop 的MapReduce与HDFS快速执行简单的操作。 零、先决条件
1、本系列以Ubuntu Linux作为开发和生产平台 2、Linux所需的软件包括
JAVA必须安装Java配置好JDK环境变量SSH如果要使用可选的启动和停止脚本则必须安装ssh并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本pdsh安装pdsh以便更好地进行ssh资源管理。
如果群集中没有必需的软件则需要安装它。在Ubuntu Linux上 $ sudo apt-get install ssh$ sudo apt-get install pdsh一、下载
可以从 Apache Download Mirrors下载获得最稳定的发行版 下载后使用 : tar -zxvf tar包名解压到指定位置
编辑文件etc/ hadoop / hadoop-env.sh以定义一些参数 # set to the root of your Java installationexport JAVA_HOME/usr/local/java/jdk1.8export HADOOP_CONF_DIR/usr/local/apps/hadoop-3.2.1/etc/hadoop尝试以下命令 $ bin / hadoop二、准备启动Hadoop集群
这将显示hadoop脚本的用法文档 现在我们可以以三种支持的模式之一启动Hadoop集群
本地独立模式伪分布式模式全分布式模式
2.1、独立模式运行
默认情况下Hadoop被配置为在非分布式模式下作为单个Java进程运行。这对于调试很有用。 下面的示例复制解压缩的conf目录以用作输入然后查找并显示给定正则表达式的每个匹配项。输出被写入给定的输出目录。 $ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output dfs[a-z.]$ cat output/*2.2、伪分布式操作模式运行
Hadoop也可以以伪分布式模式在单节点上运行其中每个Hadoop守护程序都在单独的Java进程中运行。 在以下配置文件中进行修改或添加内容
etc/hadoop/core-site.xml:
configurationpropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configurationetc/hadoop/hdfs-site.xml:
configurationpropertynamedfs.replication/namevalue1/value/property
/configuration设置无密码SSH 现在检查您是否可以在不使用密码的情况下SSH到本地主机 $ ssh localhost如果没有密码就无法SSH到本地主机就执行以下命令 $ ssh-keygen -t rsa -P -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys以下说明是在本地运行MapReduce作业
格式化文件系统 $ bin/hdfs namenode -format启动NameNode守护程序和DataNode守护程序 $ sbin/start-dfs.shhadoop守护程序日志输出将写入$ HADOOP_LOG_DIR目录默认为$ HADOOP_HOME / logs。
浏览Web界面的NameNode默认情况下它在以下位置可用 NameNode - http://localhost:9870/设置执行MapReduce作业所需的HDFS目录 $ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/root将输入文件复制到分布式文件系统中 $ bin/hdfs dfs -mkdir input$ bin/hdfs dfs -put etc/hadoop/*.xml input运行提供的一些示例 $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output dfs[a-z.]检查输出文件将输出文件从分布式文件系统复制到本地文件系统并检查它们 $ bin/hdfs dfs -get output output$ cat output/*完成后使用以下命令停止守护进程 $ sbin / stop-dfs.sh以伪分布式模式在YARN上运行MapReduce作业: 以下指令假定上述本地运行MapReduce作业指令的1.〜4. 步骤已经执行。
如下配置参数
etc / hadoop / mapred-site.xml
configuration property name mapreduce.framework.name / name value yarn / value / property property name mapreduce.application.classpath / name value $ HADOOP_MAPRED_HOME / share / hadoop / mapreduce / *$ HADOOP_MAPRED_HOME / share / hadoop / mapreduce / lib / * / value / property
/ configurationetc / hadoop / yarn-site.xml
configuration property name yarn.nodemanager.aux-services / name value mapreduce_shuffle / value / property property name yarn.nodemanager.env-whitelist / name value JAVA_HOMEHADOOP_COMMON_HOMEHADOOP_HDFS_HOMEHADOOP_CONF_DIRCLASSPATH_PREPEND_DISTCACHEHADOOP_YARN_HOMEHADOOP_MAPRED_HOME / value / property
/ configuration启动ResourceManager守护程序和NodeManager守护程序 $ sbin/start-yarn.sh浏览Web界面以找到ResourceManager默认情况下它在以下位置可用
ResourceManager- http// localhost8088 / 运行MapReduce作业。
完成后使用以下命令停止守护进程 $ sbin/stop-yarn.sh2.3、全分布式运行
有关设置完全分布式的非重要集群的信息将在以后进行介绍
