网站开发前的准备工作,商务网站的建设有哪几个步骤,网站开发系统架构图,优化一下PS:最新安装教程请参考Hadoop的安装与配置#xff08;设置单节点群集#xff09;详细教程
1、Hadoop安装前准备工作#xff1a; 在开始Hadoop安装与配置之前#xff0c;需要准备的环境#xff1a;Linux系统、配置JDK环境变量。
2、安装 我们可以到Apache Hadoop的官网ht…PS:最新安装教程请参考Hadoop的安装与配置设置单节点群集详细教程
1、Hadoop安装前准备工作 在开始Hadoop安装与配置之前需要准备的环境Linux系统、配置JDK环境变量。
2、安装 我们可以到Apache Hadoop的官网http://hadoop.apache.org/进行下载相应的安装文件
下载后使用 : tar -zxvf tar包名解压到指定位置
3、Hadoop配置文件的修改 Hadoop主要修改的配置文件为5处
hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml
3.1、hadoop-env.sh 在对应的位置找到以下两行配置并修改为本机中的路径。
export JAVA_HOME/Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home
export HADOOP_CONF_DIR/Users/marron27/TOOLS/hadoop-2.10.0/etc/hadoop3.2、core-site.xml
configuration
property
namefs.defaultFS/name
valuehdfs://localhost:9000/value
/property
!--自己创建的指定hadoop运行时产生文件的存放目录--
namehadoop.tmp.dir/name
value/Users/marron27/TOOLS/hadoop-2.10.0/tmp/value
/property
/configuration3.3、hdfs-site.xml
configurationproperty
!--指定hdfs保存数据副本的数量包括自己默认为3--
!--伪分布式模式此值必须为1--
namedfs.replication/name
value1/value
/property!--不是root用户也可以写文件到hdfs--
property
namedfs.permissions/name
valuefalse/value !--关闭防火墙--
/property/configuration3.4、mapred-site.xml
configuration
property
!--指定mapreduce运行在yarn上--
namemapreduce.framework.name/name
valueyarn/value
/property
/configuration3.5、yarn-site.xml
configuration!-- Site specific YARN configuration properties --
property
nameyarn.resourcemanager.hostname/name
valuelocalhost/value
/property
property
!--NodeManager获取数据的方式--
nameyarn.nodemanager.aux-services/name
valuemapreduce_shuffle/value
/property/configuration4、配置Hadoop环境变量 在 .bash_profile 文件中配置Hadoop环境变量,使用vim打开该文件进入编辑模式 vim ~/.bash_profile 在该文件中添加Hadoop的安装路径 添加完成后保存退出。 使用source命令使该文件中的修改立即生效source ~/.bash_profile 到此所有的配置已经完成接下来执行该命令格式化namenode: hadoop namenode -format。 格式化成功之后即可启动Hadoop在Hadoop安装目录下有个/sbin目录目录下有个start-all.sh,执行该文件./start-all.sh
5、测试 此时执行以下命令查看安装是否成功
hadoop fs -mkdir /testdata 在hdfs根目录下创建一个文件夹 testdata
hadoop fs -ls /
