建p2p网站,做翻译赚钱的网站好,巨量千川广告投放平台,洱源网站建设目录 1 HDFS 概述1.1 HDFS 背景与定义1.2 HDFS 优缺点1.3 HDFS 组成架构1.4 HDFS 文件块大小 2 HDFS的shell操作2.1 上传2.2 下载2.3 HDFS直接操作 3 HDFS的客户端操作3.1 Windows 环境准备3.2 获取 HDFS 的客户端连接对象3.3 HDFS文件上传3.4 HDFS文件下载3.5 HDFS删除文件和目… 目录 1 HDFS 概述1.1 HDFS 背景与定义1.2 HDFS 优缺点1.3 HDFS 组成架构1.4 HDFS 文件块大小 2 HDFS的shell操作2.1 上传2.2 下载2.3 HDFS直接操作 3 HDFS的客户端操作3.1 Windows 环境准备3.2 获取 HDFS 的客户端连接对象3.3 HDFS文件上传3.4 HDFS文件下载3.5 HDFS删除文件和目录3.6 HDFS文件更名和移动3.7 HDFS文件详情查看3.8 HDFS文件和文件夹判断 4 HDFS的数据流4.1 HDFS写数据流程4.1.1 剖析文件写入流程4.1.2 机架感知副本存储节点选择4.1.3 网络拓扑-节点距离计算 4.2 HDFS读数据流程 5 NameNode、SecondaryNameNode5.1 NN与2NN工作机制5.2 Fsimage和Edits解析5.3 CheckPonit时间设置5.4 NameNode故障处理5.5 集群安全模式5.6 NameNode多目录配置 6 DataNode6.1 DataNode 工作机制6.2 数据完整性6.3 掉线时限参数设置6.4 服役新数据节点6.5 退役旧数据节点6.5.1 添加白名单和黑名单6.5.2 黑名单退役 6.6 DataNode多目录配置 1 HDFS 概述
1.1 HDFS 背景与定义 随着数据量越来越大在一个操作系统中存不下所有的数据那么就分配到更多的操作系统管理的磁盘中但是这样不方便管理和维护迫切需要一种系统来管理多台机器上的文件这就是分布式文件管理系统。HDFS只是分布式管理系统中的一种。
HDFSHadoop Distributed File System是一个文件系统用于存储文件通过目录树来定位文件其次其是分布式的由很多服务器联合起来实现其功能集群中的服务器有各自的角色。
HDFS 的使用场景适合一次写入多次读出的场景且不支持文件的修改但可追加。适合用来做数据分析并不适合用来做网盘应用。
1.2 HDFS 优缺点 1优点
高容错性 数据自动保存多个副本通过增加副本的方式提高容错性某一个副本丢失后它可以自动恢复 适合处理大数据 数据规模能够处理数据规模达到GB、TB甚至PB级别的数据文件规模 能够处理百万规模以上的文件数量数量相当之大 可构建在廉价的机器上通过多副本机制提高可靠性
2缺点
不适合低延时的数据访问如毫秒级的存储数据是做不到的无法高效的对大量小文件进行存储 无法存储大量小文件的话它会占用 NameNode 大量的内存来存储文件目录和块信息这样是不可取的因为NameNode的内存总是有限的小文件存储的寻址时间会超过读取时间它违反了HDFS的设计目标 不支持并发写入、文件的随机修改 一个文件只能有一个写不允许多个线程同时写仅支持数据的追加append不支持文件的随机修改
1.3 HDFS 组成架构 NameNode(nn)就是Master它是一个主管、管理者
管理HDFS的名称空间配置副本策略管理数据块Block映射信息处理客户端读写请求
DataNode(dn)就是SlaveNameNode下达的命令DataNode执行实际的操作
存储实际的数据块执行数据块的读/写操作
SecondaryNameNode并非NameNode的热备当NameNode挂掉的时候它并不能马上替换NameNode并提供服务。
辅助NameNode分担其工作量比如定期合并Fsimage和Edits并推送给NameNode在紧急情况下可辅助恢复NameNode
Client客户端
文件切分文件上传HDFS时候Clinet将文件切分成一个个Block然后进行上传与NameNode交互获取文件的位置信息与DataNode交互读取或写入数据Clinet提供一些命令来管理HDFS比如NameNode的格式化Clinet提供一些命令来访问HDFS比如对HDFS增删改查操作
1.4 HDFS 文件块大小 思考为什么块的大小不能设置太小也不能设置太大 如果块设置太小会增加寻址时间程序一直在找块的开始位置如果块设置太大从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间导致程序在处理这块数据时会非常慢 HDFS块的大小设置主要取决于磁盘传输速率
2 HDFS的shell操作 hadoop fs 具体命令 OR hdfs dfs 具体命令 启动 Hadoop 集群
[huweihadoop101 ~]$ start-dfs.sh
[huweihadoop102 ~]$ start-yarn.shWeb 端查看 HDFS 的 NameNode
浏览器中输入http://hadoop101:9870
2.1 上传 首先在HDFS根目录下手动创建/sanguo/shuguo的文件夹如下图所示 1-moveFromLocal从本地 剪切 粘贴到 HDFS
[huweihadoop101 ~]$ touch kongming.txt
[huweihadoop101 ~]$ hdfs dfs -moveFromLocal ./kongming.txt /sanguo/shuguo2 -copyFromLocal从本地文件系统中 拷贝 文件到 HDFS 路径去 -put等同于 copyFromLocal
[huweihadoop101 ~]$ touch liubei.txt
[huweihadoop101 ~]$ hdfs dfs -copyFromLocal ./liubei.txt /sanguo/shuguo3 -appendToFile追加 一个本地文件到HDFS已经存在的文件末尾
[huweihadoop101 ~]$ vim liubei.txt
三顾茅庐
[huweihadoop101 ~]$ hdfs dfs -appendToFile liubei.txt /sanguo/shuguo/liubei.txt2.2 下载 1 -copyToLocal从HDFS拷贝到本地 -get等同于copyToLocal就是从HDFS下载文件到本地
[huweihadoop101 ~]$ hdfs dfs -copyToLocal /sanguo/shuguo/kongming.txt ./2 -getmerge合并下载多个文件将HDFS中多个文件内容合并在一个文件中并下载
[huweihadoop101 ~]$ hdfs dfs -getmerge /sanguo/shuguo/liubei.txt /sanguo/shuguo/kongming.txt ./kongliu.txt也可以这样写
[huweihadoop101 ~]$ hdfs dfs -getmerge /sanguo/shuguo/* ./kongliu.txt查看合并文件内容
[huweihadoop101 ~]$ cat kongliu.txt
三顾茅庐2.3 HDFS直接操作 1 -ls: 显示目录信息
[huweihadoop101 ~]$ hdfs dfs -ls /sanguo/shuguo
Found 2 items
-rw-r--r-- 3 huwei supergroup 0 2023-10-23 16:20 /sanguo/shuguo/kongming.txt
-rw-r--r-- 3 huwei supergroup 13 2023-10-23 16:28 /sanguo/shuguo/liubei.txt2-mkdir在HDFS上创建目录
[huweihadoop101 ~]$ hdfs dfs -mkdir /sanguo/weiguo注意上述命令没有加参数-p不会报错是因为sanguo文件夹已经存在了但若父目录不存在一定需要加上参数-p [huweihadoop101 ~]$ hdfs dfs -mkdir -p /xiyou/suwukong3 -cat显示文件内容
[huweihadoop101 ~]$ hdfs dfs -cat /sanguo/shuguo/liubei.txt
三顾茅庐4 -chgrp 、-chmod、-chownLinux文件系统中的用法一样修改文件所属权限
[huweihadoop101 ~]$ hdfs dfs -chmod 666 /sanguo/shuguo/kongming.txt
[huweihadoop101 ~]$ hdfs dfs -ls /sanguo/shuguo也可以在Web端界面手动修改 5 -cp 从HDFS的一个路径拷贝到HDFS的另一个路径
[huweihadoop101 ~]$ hdfs dfs -cp /sanguo/shuguo/kongming.txt /xiyou6 -mv在HDFS目录中移动文件
[huweihadoop101 ~]$ hdfs dfs -mv /sanguo/shuguo/liubei.txt /xiyou同样mv也可以对文件重命名
[huweihadoop101 ~]$ hdfs dfs -mv /sanguo/shuguo/kongming.txt /sanguo/shuguo/guanyu.txt7 -tail显示一个文件的末尾 1kb 的数据
我们上传一个稍大点的文件 xiaoaojianghu.txt
[huweihadoop101 ~]$ hdfs dfs -tail /xiaoaojianghu.txt查看前10行
[huweihadoop101 ~]$ hdfs dfs -head /xiaoaojianghu.txt注意这里的 head 不支持指定 -n 8 -rm删除文件或文件夹
[huweihadoop101 ~]$ hdfs dfs -rm /xiyou/kongming.txt
[huweihadoop101 ~]$ hdfs dfs -rm -r /xiyou注意 HDFS 中删除文件夹中 -r 与 -f 不能写成 -rf要写必须单独写而且也没必要写-f因为也不会有删除确认 9-rmdir删除空目录
[huweihadoop101 ~]$ hdfs dfs -rmdir /sanguo/weiguo10 -du统计文件夹的大小信息
[huweihadoop101 ~]$ hdfs dfs -du /
0 0 /sanguo
3041059 9123177 /xiaoaojianghu.txt两列文件大小是三倍的关系因为副本数有三个 11 -setrep设置HDFS中文件的副本数量
[huweihadoop101 ~]$ hdfs dfs -setrep 10 /sanguo
Replication 10 set: /sanguo/shuguo/guanyu.txt这里设置的副本数只是记录在NameNode的元数据中是否真的会有这么多副本还得看DataNode的数量。因为目前只有3台设备最多也就3个副本只有节点数的增加到10台时副本数才能达到10。 3 HDFS的客户端操作
3.1 Windows 环境准备 hadoop下载地址将压缩包解压到安装目录注意安装目录的路径中不要有空格。 1 配置 HADOOP_HOME 环境变量 2 配置Path环境变量 3 cmd 终端输入hadoop version 测试 4 创建一个Maven工程并导入相应的依赖坐标日志添加
在pom.xml文件中添加
dependenciesdependencygroupIdjunit/groupIdartifactIdjunit/artifactIdversion4.12/version/dependencydependencygroupIdorg.apache.logging.log4j/groupIdartifactIdlog4j-slf4j-impl/artifactIdversion2.12.0/version/dependencydependencygroupIdorg.apache.hadoop/groupIdartifactIdhadoop-client/artifactIdversion3.1.3/version/dependency
/dependencies在项目的 src/main/resources目录下新建一个文件命名为log4j2.xml在文件中填入
?xml version1.0 encodingUTF-8?
Configuration statuserror stricttrue nameXMLConfigAppenders!-- 类型名为Console名称为必须属性 --Appender typeConsole nameSTDOUT!-- 布局为PatternLayout的方式输出样式为[INFO] [2018-01-22 17:34:01][org.test.Console]Im here --Layout typePatternLayoutpattern[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n //Appender/AppendersLoggers!-- 可加性为false --Logger nametest levelinfo additivityfalseAppenderRef refSTDOUT //Logger!-- root loggerConfig设置 --Root levelinfoAppenderRef refSTDOUT //Root/Loggers
/Configuration3创建包名和类 3.2 获取 HDFS 的客户端连接对象
public class hdfsTest {private FileSystem fs;/*** 获取 hdfs的客户端连接对象*/Beforepublic void init() throws URISyntaxException, IOException, InterruptedException {Configuration configuration new Configuration();configuration.set(dfs.replication, 2);URI uri new URI(hdfs://hadoop101:9820);String user huwei;fs FileSystem.get(uri, configuration, user);}/*** 关闭资源*/Afterpublic void close() throws IOException {fs.close();}/* Testpublic void testMkdirs() throws IOException, InterruptedException, URISyntaxException {// 获取文件系统对象Configuration configuration new Configuration();configuration.set(dfs.replication, 2);URI uri new URI(hdfs://hadoop101:9820);String user huwei;FileSystem fs FileSystem.get(uri, configuration, user);// 在 Java 中每个对象都有一个 getClass() 方法它返回对象所属的类的 Class 对象。// 然后可以调用 Class 对象的 getName() 方法来获取类的全限定名包括包名和类名。System.out.println(fs.getClass().getName());// 关闭资源fs.close();}*/
}ClassPath下的用户自定义配置文件 参数优先级排序1客户端代码中设置的值 2ClassPath下的用户自定义配置文件 3然后是服务器的自定义配置(xxx-site.xml) 4服务器的默认配置(xxx-default.xml) 3.3 HDFS文件上传 /*** 上传文件*/
Test
public void testCopyToLocalFile() throws IOException {//参数1 是否删除原文件//参数2 若HDFS中已存在同名文件是否覆盖//参数3 本地原文件路径//参数4 hdfs目标路径fs.copyFromLocalFile(false, true, new Path(E:\\googleFile\\image.png),new Path(/));
}3.4 HDFS文件下载 /*** 下载文件*/
Test
public void testCopyToLocalFile() throws IOException {//参数1 是否删除原文件//参数2 hdfs原文件路径//参数3 本地目标路径//参数4 是否开启文件校验false 同时下载校验文件true 仅下载原文件fs.copyToLocalFile(false, new Path(/sanguo), new Path(E:\\googleFile), false);
}3.5 HDFS删除文件和目录 /*** 删除文件或目录*/
Test
public void testDelete() throws IOException {//参数1 要删除文件的路径//参数2 是否递归删除
// fs.delete(new Path(/sanguo/hello.txt), true);// 仅删除hello.txt这个文件fs.delete(new Path(/sanguo), true);// 删除sanguo文件夹以及其下的文件
}3.6 HDFS文件更名和移动 /*** 文件的更名或移动*/
Test
public void testRename() throws IOException {// 移动文件
// fs.rename(new Path(/hello.txt), new Path(/sanguo));// 更改文件名fs.rename(new Path(/sanguo/hello.txt), new Path(/sanguo/hi.txt));}3.7 HDFS文件详情查看 /**
* 查看文件详情
*/
Test
public void testListFiles() throws IOException {//参数1 文件的路径//参数2 是否递归查看RemoteIteratorLocatedFileStatus listFiles fs.listFiles(new Path(/), true);while(listFiles.hasNext()){LocatedFileStatus fileStatus listFiles.next();System.out.println(文件名fileStatus.getPath().getName());System.out.println(块大小fileStatus.getBlockSize());System.out.println(副本数fileStatus.getReplication());System.out.println(权限信息fileStatus.getPermission());}
}3.8 HDFS文件和文件夹判断 /*** 判断是文件还是目录*/
Test
public void testListStatus() throws IOException {FileStatus[] listStatus fs.listStatus(new Path(/));for (FileStatus status : listStatus) {if (status.isDirectory()) {System.out.println(DIR status.getPath().getName());} else {System.out.println(FILE status.getPath().getName());}}
}4 HDFS的数据流
4.1 HDFS写数据流程
4.1.1 剖析文件写入流程 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件NameNode 检查目标文件是否已存在操作用户是否有权限。NameNode返回是否可以上传。客户端请求上传第一个 Block 并请求上传到哪几个 DataNode服务器上。NameNode 返回3个 DataNode 节点分别为 dn1、dn2、dn3。客户端通过 FSDataOutputStream 模块请求dn1上传数据dn1收到请求会继续调用dn2然后dn2调用dn3将这个通信管道建立完成。dn3、dn2、dn1逐级应答客户端。客户端开始往dn1上传第一个Block先从磁盘读取数据放到一个本地内存缓存以Packet64KB为单位dn1收到一个Packet就会传给dn2dn2传给dn3dn1每传一个Packet会放入一个应答队列等待应答。每个packet又分为多个chunk当一个Block传输完成之后客户端再次请求 NameNode上传第二个Block。重复执行 3-7 步。
4.1.2 机架感知副本存储节点选择 步骤 4 中NameNode 根据请求返回 DataNode 节点的策略是什么 如果当前客户端所在机器有 DataNode 节点那就返回当前机器DN1否则从集群中随机一台。根据第一台机器的位置然后再其他机架上随机一台在第二台机器所在机架上再随机一台。目的是为了提高数据的可靠性同时一定程度也保证数据传输的效率 机架存放服务器的架子也叫机柜。一般来说一个机房有很多机柜每个机柜有很多服务器。 4.1.3 网络拓扑-节点距离计算 步骤 5 中客户端为什么要串行建立通信管道 在 Hadoop 中最珍惜的资源莫过于 内存 和 IO。客户端串行建立通信管道本质上就是为了降低客户端的IO开销。 步骤 5 中客户端建立通信通道的时候如何确定和哪一台 DataNode 先建立连接数据传输的时候如何保证数据成功 客户端建立通信通道的时候会找离客户端 最近 网络拓扑距离的一台机器先建立通道。数据传输的时候采用了 ack 回执的策略保证了数据完整成功上传。 在 HDFS 写数据的过程中NameNode 会选择距离待上传数据最近距离的 DataNode 接收数据。那么这个最近距离怎么计算呢
节点距离两个节点到达最近的共同祖先的距离总和。
例如假设有数据中心 d1 机架 r1 中的节点 n1 。该节点可以表示为 /d1/r1/n1。利用这种标记这里给出四种距离描述。 4.2 HDFS读数据流程 客户端通过 Distributed FileSystem 向 NameNode 请求下载文件NameNode 通过查询元数据找到文件块所在的 DataNode 地址。挑选一台 DataNode就近原则然后随机服务器请求读取数据。DataNode 开始传输数据以块为单位给客户端从磁盘里面读取数据输入流以 Packet 为单位来做校验。客户端以Packet为单位接收先在本地缓存然后写入目标文件。
5 NameNode、SecondaryNameNode
5.1 NN与2NN工作机制 第一阶段NameNode启动 1第一次启动NameNode格式化后创建Fsimage和Edits文件。如果不是第一次启动直接加载Fsimage和Edits文件到内存。 2客户端对元数据进行增删改的请求。 3NameNode记录操作日志更新滚动日志。 4NameNode在内存中对元数据进行增删改。 第二阶段Secondary NameNode工作 1Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。 2Secondary NameNode请求执行CheckPoint。 3NameNode滚动正在写的Edits日志。 4将滚动前的Fsimage和Edits文件拷贝到Secondary NameNode。 5Secondary NameNode加载Fsimage和Edits文件到内存并合并。 6生成新的镜像文件fsimage.chkpoint。 7拷贝fsimage.chkpoint到NameNode。 8NameNode将fsimage.chkpoint重新命名成fsimage。 NN和2NN工作机制详解 NameNode 启动时先滚动 Edits 并生成一个空的 edits.inprogress然后加载 Edits 和 Fsimage 到内存中此时 NameNode 内存就持有最新的元数据信息。Client 开始对 NameNode 发送元数据的增删改的请求这些请求的操作首先会被记录到edits.inprogress 中查询元数据的操作不会被记录在 Edits 中因为查询操作不会更改元数据信息如果此时 NameNode 挂掉重启后会从 Edits 中读取元数据的信息。然后NameNode会在内存中执行元数据的增删改的操作。 由于Edits中记录的操作会越来越多Edits文件会越来越大导致NameNode在启动加载Edits时会很慢所以需要对Edits和Fsimage进行合并所谓合并就是将Edits和Fsimage加载到内存中照着Edits中的操作一步步执行最终形成新的Fsimage。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。 SecondaryNameNode首先会询问NameNode是否需要CheckPoint触发CheckPoint需要满足两个条件中的任意一个定时时间到和Edits中数据写满了。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作首先会让NameNode滚动Edits并生成一个空的edits.inprogress滚动Edits的目的是给Edits打个标记以后所有新的操作都写入edits.inprogress其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地然后将拷贝的Edits和Fsimage加载到内存中进行合并生成fsimage.chkpoint然后将fsimage.chkpoint拷贝给NameNode重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可因为合并过的Edits中的元数据信息已经被记录在Fsimage中。 5.2 Fsimage和Edits解析 FsimageNameNode内存中元数据序列化后形成的文件。 Edits记录客户端更新元数据信息的每一步操作可通过Edits运算出元数据 NameNode 中的元数据是存储在哪里的 首先我们做个假设如果存储在 NameNode 节点的磁盘中因为经常需要进行随机访问还有响应客户请求必然是效率过低。因此元数据需要存放在内存中。但如果只存在内存中一旦断电元数据丢失整个集群就无法工作了。最终的解决方案 磁盘 内存。因此产生在磁盘中备份元数据的 FsImage。 内存中的元数据和磁盘中的元数据如何进行同步元数据的维护策略 这样又会带来新的问题当在内存中的元数据更新时如果同时更新 FsImage就会导致效率过低但如果不更新就会发生一致性问题一旦NameNode节点断电就会产生数据丢失。因此引入Edits文件(只进行追加操作效率很高)。每当元数据有更新或者添加元数据时修改内存中的元数据并追加到Edits中。这样一旦NameNode节点断电可以通过FsImage和Edits的合并合成元数据。 谁负责FsImage和Edits的合并? SecondaryNamenode会检测本地时间每隔1个小时会主动对NameNode的FsImage和Edits文件进行一次合并定期进行FsImage和Edits的合并。合并的时候首先会通知NameNode这时候NameNode就会停止对正在使用的Edits文件的追加同时会新建一个新的Edits日志文件保证NameNode的正常工作。接下来SecondaryNamenode 会把NameNode本地的FsImage和Edits文件拉取SecondaryNamenode的本地在内存中对二者进行合并最后产生最新FsImage文件。把最新的FsImage文件再发送给NameNode的本地。注意还有一个情况当NameNode的Edits文件中的操作次数累计达到100万次即便还没到1小时SecondaryNamenode每隔60秒会检测一次NameNode的Edits文件的操作次数也会进行合并。 SecondaryNamenode 也会自己把最新的FsImage文件备份一份。 找到NameNode元数据的存放位置
[huweihadoop101 ~]$ cd /opt/module/hadoop-3.1.3/data/dfs/name/current/
[huweihadoop101 current]$ ll找到SecondaryNamenode 元数据的存放位置
[huweihadoop103 ~]$ cd /opt/module/hadoop-3.1.3/data/dfs/namesecondary/current/
[huweihadoop103 current]$ ll可以发现NameNode元数据和SecondaryNamenode 元数据信息基本一致但SecondaryNamenode没有正在使用编辑日志文件以及 seen_txid文件所以当元数据丢失通过SecondaryNamenode 去恢复是不能保证万无一失的恢复过来的尤其是当NameNode正在使用编辑日志文件已经记录了一些操作 主要文件介绍
Fsimage文件HDFS文件系统元数据的一个永久的检查点其中会包含HDFS文件系统所有的目录和文件 inode 的序列化信息Edits文件存放HDFS文件系统的所有更新操作的路径文件系统客户端执行的所有写操作首先会被记录到该文件中seen_txid文件文件中保存的是一个数字就是最后一个edits_的数字
oiv 查看 Fsimage 文件
基本语法
hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径将 Fsimage 文件转为 xml 文件
[huweihadoop101 current]$ hdfs oiv -p XML -i fsimage_0000000000000000252 -o fsimage.xmloev 查看Edits文件
基本语法
hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径[huweihadoop101 current]$ hdfs oev -p XML -i edits_inprogress_0000000000000000269 -o edits.xml5.3 CheckPonit时间设置 [hdfs-default.xml]文件中设置了 CheckPonit
1 通常情况下SecondaryNameNode每隔一小时执行一次。
propertynamedfs.namenode.checkpoint.period/namevalue3600s/value
/property2 一分钟检查一次操作次数当操作次数达到1百万时SecondaryNameNode执行一次。
propertynamedfs.namenode.checkpoint.txns/namevalue1000000/value
description操作动作次数/description
/propertypropertynamedfs.namenode.checkpoint.check.period/namevalue60s/value
description 1分钟检查一次操作次数/description
/property 5.4 NameNode故障处理 NameNode 故障后可以采用如下方法恢复数据。
将SecondaryNameNode中数据拷贝到NameNode存储数据的目录
1杀死NameNode进程
kill -9 NameNode进程号2删除NameNode存储的数据/opt/module/hadoop-3.1.3/data/dfs/name/current
[huweihadoop101 ~]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/current/*3拷贝SecondaryNameNode中数据到原NameNode存储数据目录
[huweihadoop103 current]$ scp -r ./* huweihadoop101:/opt/module/hadoop-3.1.3/data/dfs/name/current4重新启动NameNode
[huweihadoop101 ~]$ hdfs --daemon start namenode5.5 集群安全模式 5.6 NameNode多目录配置 NameNode的本地目录可以配置成多个且每个目录存放内容相同增加了可靠性
1 在 hdfs-site.xml 文件中添加如下内容
[huweihadoop101 ~]$ cd /opt/module/hadoop-3.1.3/etc/hadooppropertynamedfs.namenode.name.dir/namevaluefile://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2/value
/property2 停止集群删除三台节点的data和logs中所有数据
[huweihadoop101 hadoop-3.1.3]$ rm -rf data/ logs/
[huweihadoop102 hadoop-3.1.3]$ rm -rf data/ logs/
[huweihadoop103 hadoop-3.1.3]$ rm -rf data/ logs/3 格式化集群并启动
[huweihadoop101 hadoop-3.1.3]$ hdfs namenode –format
[huweihadoop101 hadoop-3.1.3]$ start-dfs.sh4 查看结果
[huweihadoop101 dfs]$ ll
drwx------. 3 huwei huwei 4096 10月 25 19:28 data
drwxrwxr-x. 3 huwei huwei 4096 10月 25 19:28 name1
drwxrwxr-x. 3 huwei huwei 4096 10月 25 19:28 name26 DataNode
6.1 DataNode 工作机制 DataNode 工作机制
一个数据块在DataNode上以文件形式存储在磁盘上包括两个文件一个是数据本身一个是元数据包括数据块的长度块数据的校验和以及时间戳。DataNode 启动后向 NameNode 注册通过后周期性1小时的向NameNode上报所有的块信息。心跳是每 3秒 一次心跳返回结果带有 NameNode 给该DataNode的命令如复制块数据到另一台机器或删除某个数据块。如果超过10分钟30秒没有收到某个DataNode的心跳则认为该节点不可用。集群运行中可以安全加入和退出一些机器。
6.2 数据完整性 思考如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号1和绿灯信号0但是存储该数据的磁盘坏了一直显示是绿灯是否很危险同理DataNode节点上的数据损坏了却没有发现是否也很危险那么如何解决呢 如下是DataNode节点保证数据完整性的方法。 1当DataNode读取Block的时候它会计算CheckSum。 2如果计算后的CheckSum与Block创建时值不一样说明Block已经损坏。 3Client读取其他DataNode上的Block。 4常见的校验算法 crc32md5128sha1160 5DataNode在其文件创建后周期验证CheckSum。
6.3 掉线时限参数设置 需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为**毫秒**dfs.heartbeat.interval的单位为**秒**。propertynamedfs.namenode.heartbeat.recheck-interval/namevalue300000/value
/property
propertynamedfs.heartbeat.interval/namevalue3/value
/property6.4 服役新数据节点 随着公司业务的增长数据量越来越大原有的数据节点的容量已经不能满足存储数据的需求需要在原有集群基础上动态添加新的数据节点。 环境准备
在hadoop103主机上再克隆一台hadoop104主机修改IP地址和主机名称重启生效删除原来HDFS文件系统留存的文件/opt/module/hadoop-3.1.3/data和logs 不删的话 持续刷新HDFS的web界面时可以发现hadoop103和hadoop104交替出现因为hadoop104是通过hadoop103克隆出来的
[huweihadoop104 hadoop-3.1.3]$ rm -rf data logs在 hadoop104 上启动 datanode此时要么重新配置 etc/hadoop/workers添加hadoop104 要么在hadoop104单独启动 datanode数据信息都是一样的NameNode会认为二者是同一个
[huweihadoop104 ~]$ hdfs --daemon start datanode此时在HDFS的web界面可以看到4个datanode 6.5 退役旧数据节点
6.5.1 添加白名单和黑名单 白名单和黑名单是 hadoop 管理集群主机的一种机制。
添加到白名单的主机节点都允许访问 NameNode不在白名单的主机节点都会被退出。添加到黑名单的主机节点不允许访问 NameNode会在数据迁移后退出。 实际情况下白名单用于确定允许访问 NameNode的 DataNode节点内容配置一般与workers文件内容一致。 黑名单用于在集群运行过程中退役 DataNode节点。
配置白名单和黑名单的具体步骤如下
1在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件
[huweihadoop101 ~]$ cd /opt/module/hadoop-3.1.3/etc/hadoop
[huweihadoop101 hadoop]$ touch whitelist
[huweihadoop101 hadoop]$ touch blacklist在whitelist中添加如下主机名称假如集群正常工作的节点为 101 102 103 104
hadoop101
hadoop102
hadoop103
hadoop104黑名单暂时为空。
2 在当前目录下的 hdfs-site.xml 配置文件中增加 dfs.hosts和 dfs.hosts.exclude配置参数
!-- 白名单 --
property
namedfs.hosts/name
value/opt/module/hadoop-3.1.3/etc/hadoop/whitelist/value
/property
!-- 黑名单 --
property
namedfs.hosts.exclude/name
value/opt/module/hadoop-3.1.3/etc/hadoop/blacklist/value
/property3 分发配置文件whitelistblacklisthdfs-site.xml 注意104节点也要发一份
[huweihadoop101 hadoop]$ xsync ./
[huweihadoop101 hadoop]$ rsync -av ./ huweihadoop104:/opt/module/hadoop-3.1.3/etc/hadoop/4 重新启动集群注意104节点没有添加到workers因此要单独起停
[huweihadoop101 ~]$ stop-dfs.sh
[huweihadoop101 ~]$ start-dfs.sh
[huweihadoop104 ~]$ hdfs --daemon start datanode5 在web浏览器上查看目前正常工作的DN节点 6.5.2 黑名单退役 1编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件
[huweihadoop101 hadoop]$ vim blacklist添加如下主机名称要退役的节点
hadoop1042 分发blacklist到所有节点
[huweihadoop101 hadoop]$ xsync ./
[huweihadoop101 hadoop]$ rsync -av ./ huweihadoop104:/opt/module/hadoop-3.1.3/etc/hadoop/3 刷新NameNode
[huweihadoop101 hadoop]$ hdfs dfsadmin -refreshNodes4 检查Web浏览器退役节点的状态为Decommissioning退役中说明数据节点正在复制块到其他节点
5等待退役节点状态为decommissioned已退役所有块已经复制完成停止该节点及节点资源管理器。 注意如果副本数是3服役的节点小于等于3是不能退役成功的需要修改副本数后才能退役 注意不允许白名单和黑名单中同时出现同一个主机名称既然使用了黑名单blacklist成功退役了hadoop104节点因此要将白名单whitelist里面的hadoop104去掉。 6.6 DataNode多目录配置 DataNode可以配置成多个目录每个目录存储的数据不一样。即数据不是副本
1 在hdfs-site.xml文件中添加如下内容
propertynamedfs.datanode.data.dir/namevaluefile://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2/value
/property2 停止集群删除三台节点的data和logs中所有数据。
[huweihadoop101 hadoop-3.1.3]$ rm -rf data/ logs/
[huweihadoop102 hadoop-3.1.3]$ rm -rf data/ logs/
[huweihadoop103 hadoop-3.1.3]$ rm -rf data/ logs/3 格式化集群并启动
[huweihadoop101 hadoop-3.1.3]$ hdfs namenode –format
[huweihadoop101 hadoop-3.1.3]$ start-dfs.sh4查看结果
[huweihadoop101 dfs]$ ll
drwx------. 3 huwei huwei 4096 10月 25 19:57 data1
drwx------. 3 huwei huwei 4096 10月 25 19:57 data2
drwxrwxr-x. 3 huwei huwei 4096 10月 25 19:28 name1
drwxrwxr-x. 3 huwei huwei 4096 10月 25 19:28 name2
