官方网站怎么找,怎么查询网站是否被降权,个人注册网站怎么注册,网站开发人员晋升体系1、hadoop 包下载
清华大学开源软件镜像站下载(速度较快#xff0c;但版本不全)官方各个版本
下载后解压。 添加环境变量 HADOOP_HOME。并将 %HADOOP_HOME%/bin、%HADOOP_HOME%/sbin 添加到 path 中。
ps#xff1a;本文使用的是 hadoop-3.3.2
2、windows 环境准备
wind…1、hadoop 包下载
清华大学开源软件镜像站下载(速度较快但版本不全)官方各个版本
下载后解压。 添加环境变量 HADOOP_HOME。并将 %HADOOP_HOME%/bin、%HADOOP_HOME%/sbin 添加到 path 中。
ps本文使用的是 hadoop-3.3.2
2、windows 环境准备
windows 所需文件winutils.exe、hadoop.dll 可从 GitHub 下载不全。
winutils.exe 放到 %HADOOP_HOME%/bin 下面。hadoop.dll 放到 windows\system32 下面也可以放到 %HADOOP_HOME%/bin 下面加到 path 环境变量就行。
3、配置
可选修改 %HADOOP_HOME%/etc/hadoop 下面的脚本 hadoop-env.cmd修改 JAVA_HOME 为本机jdk安装时配置的目录。
修改 %HADOOP_HOME%/etc/hadoop 下面的配置文件core-site.xml、 hdfs-site.xml、 mapred-site.xml、 yarn-site.xml
core-site.xml
configurationpropertynamefs.default.name/namevaluehdfs://0.0.0.0:8020/value/property!--用来指定使用hadoop时产生文件的存放目录, --propertynamehadoop.tmp.dir/name value/D:/Programs/hadoop-3.3.2/temp/value/property
/configurationhdfs-site.xml
configuration!--指定hdfs保存数据的副本数量--propertynamedfs.replication/namevalue1/value/property!--指定hdfs中namenode的存储位置--propertynamedfs.namenode.name.dir/name value/D:/Programs/hadoop-3.3.2/data/namenode/value/property!--指定hdfs中datanode的存储位置--propertynamedfs.datanode.data.dir/namevalue/D:/Programs/hadoop-3.3.2/data/datanode/value/propertypropertynamedfs.http.address/namevalue0.0.0.0:50070/value/property
/configurationmapred-site.xml
configuration!--告诉hadoop以后MR(Map/Reduce)运行在YARN上--propertydescriptionThe hostname of the RM./descriptionnamemapreduce.framework.name/namevalueyarn/value/property
/configurationyarn-site.xml
configuration!-- Site specific YARN configuration properties --!--nomenodeManager获取数据的方式是shuffle--propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!--指定 ResourceManager 的地址-- propertynameyarn.resourcemanager.hostname/namevalue0.0.0.0/value/property propertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/property!--Yarn打印工作日志-- property nameyarn.log-aggregation-enable/name valuetrue/value /property/configuration第一次运行前需要格式化HDFS
hadoop namenode -format运行start-dfs.cmd、start-yarn.cmd(需要以管理员运行 cmd)或 start-all.cmd
然后访问
http://localhost:8088 查看集群状态http://localhost:50070 访问hdfshttp://localhost:19888 查看JobHistory需要先启动jobHistoryserver)
4、一些报错
未指定 hadoop.tmp.dircore-site.xml
2023-07-03 11:05:24,913 INFO localizer.ResourceLocalizationService: usercache path : file:/tmp/hadoop-a/nm-local-dir/usercache_DEL_1688353524257
2023-07-03 11:05:24,945 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。-- file path: tmp/hadoop-a/nm-local-dir/filecache
2023-07-03 11:05:25,013 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。-- file path: tmp/hadoop-a/nm-local-dir/usercache
2023-07-03 11:05:25,072 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。-- file path: tmp/hadoop-a/nm-local-dir/nmPrivate非管理员运行 start-yarn.cmd
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to setup local dir D:/Programs/hadoop-3.3.2/temp/nm-local-dir, which was marked as good.填指定 ip 时则 只会监听该 ip。地址填 0.0.0.0 时能够监听本机其他 ip。
如 yarn-site.xml 中的 yarn.resourcemanager.hostname。填 10.10.3.16 时只能通过 10.10.3.16:8088 访问resourcemanager的webui使用 localhost:8088 无法访问。
