建设银行造价咨询中心网站,赚钱平台网站,做面包有哪些网站知乎,开源免费cms作者 | 中华石杉责编 | 伍杏玲本文经授权转载石杉的架构笔记(ID#xff1a;shishan100)这篇文章我们来看看#xff0c;世界上最优秀的分布式文件系统HDFS#xff0c;是如何对超大文件的上传做性能优化的#xff1f;首先#xff0c;我们还是通过一张图来看一下文件上传的大…作者 | 中华石杉责编 | 伍杏玲本文经授权转载石杉的架构笔记(IDshishan100)这篇文章我们来看看世界上最优秀的分布式文件系统HDFS是如何对超大文件的上传做性能优化的首先我们还是通过一张图来看一下文件上传的大概的原理。由上图所示文件上传的原理其实说出来也简单。比如有个TB级的大文件太大了HDFS客户端会给拆成很多block一个block就是128MB。这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西。比如有人上传一个1TB的大文件到网盘或者是上传个1TB的大日志文件。然后HDFS客户端把一个一个的block上传到第一个DataNode第一个DataNode会把这个block复制一份做一个副本发送给第二个DataNode。第二个DataNode发送一个block副本到第三个DataNode。所以你会发现一个block有3个副本分布在三台机器上。任何一台机器宕机数据是不会丢失的。最后一个TB级大文件就被拆散成了N多个MB级的小文件存放在很多台机器上了这就是分布式存储。原始的文件上传方案今天要讨论的问题就是HDFS客户端上传TB级大文件时候是怎么上传呢我们先来考虑一下如果用一个比较原始的方式来上传应该怎么做大概能想到的是下面这个图里的样子。很多Java的初学者估计都知道这样来上传文件。其实无非就是不停的从本地磁盘文件用输入流读取数据读到一点就立马通过网络的输出流写到DataNode里去。上面这种流程图的代码估计刚毕业的同学都可以立马写出来。因为对文件的输入流最多就是个FileInputStream。而对DataNode的输出流最多就是个Socket返回的OutputStream。然后中间找一个小的内存byte[]数组进行流对拷就行了从本地文件读一点数据就给DataNode发一点数据。但是如果你要这么弄性能是极其低下的网络通信讲究的是适当频率每次batch批量发送。你得读一大批数据通过网络通信发一批数据不能说读一点点数据就立马来一次网络通信就发出去这一点点的数据。所以如果按照上面这种原始的方式绝对会导致网络通信效率极其低下大文件上传性能很差为什么这么说相当于你可能刚读出来几百个字节的数据立马就写网络卡顿个比如几百毫秒。然后再读下一批几百个字节的数据再写网络卡顿个几百毫秒这个性能很差在工业级的大规模分布式系统中是无法容忍的。如何对大文件上传进行性能优化好看完了原始的文件上传我们来看看Hadoop中分布式文件系统HDFS是如何对大文件上传进行性能优化的一起来看看下面那张图。首先你需要自己创建一个针对本地TB级磁盘文件的输入流然后读到数据之后立马写入HDFS提供的FSDataOutputStream输出流。这个FSDataOutputStream输出流在干啥大家觉得他会天真的立马把数据通过网络传输写给DataNode吗答案当然是否定的了这么干的话不就跟之前的那种方式一样了1. Chunk缓冲机制首先数据会被写入一个chunk缓冲数组这个chunk是一个512字节大小的数据片段你可以这么来理解。然后这个缓冲数组可以容纳多个chunk大小的数据在里面缓冲。光是这个缓冲首先就可以让客户端快速的写入数据了不至于说几百字节就要进行一次网络传输想一想是不是这样2. Packet数据包机制接着当chunk缓冲数组都写满了之后就会把这个chunk缓冲数组进行一下chunk切割切割为一个一个的chunk一个chunk是一个数据片段。然后多个chunk会直接一次性写入另外一个内存缓冲数据结构就是Packet数据包一个Packet数据包设计为可以容纳127个chunk大小大致为64mb。所以说大量的chunk会不断的写入Packet数据包的内存缓冲中。通过这个Packet数据包机制的设计又可以在内存中容纳大量的数据进一步避免了频繁的网络传输影响性能3. 内存队列异步发送机制当一个Packet被塞满了chunk之后就会将这个Packet放入一个内存队列来进行排队。然后有一个DataStreamer线程会不断的获取队列中的Packet数据包通过网络传输直接写一个Packet数据包给DataNode。如果一个Block默认是128mb的话那么一个Block默认会对应两个Packet数据包每个Packet数据包是64MB。也就是说传送两个Packet数据包给DataNode之后就会发一个通知说一个Block的数据都传输完毕。这样DataNode就知道自己收到一个Block了里面包含了人家发送过来的两个Packet数据包。总结OK大家看完了上面的那个图以及Hadoop的HDFS采取的大文件上传机制是不是感觉设计的很巧妙说白了工业级的大规模分布式系统都不会采取特别简单的代码和模式那样性能很低下。这里都有大量的并发优化、网络IO优化、内存优化、磁盘读写优化的架构设计、生产方案在里面。所以大家观察上面那个图HDFS客户端可以快速的将TB级大文件的数据读出来然后快速的交给HDFS的输出流写入内存。基于内存里的chunk缓冲机制、packet数据包机制、内存队列异步发送机制。绝对不会有任何网络传输的卡顿导致大文件的上传速度变慢。反而通过上述几种机制可以上百倍的提升一个TB级大文件的上传性能。作者简介中华石杉十余年BAT架构经验倾囊相授公众号石杉的架构笔记(IDshishan100)热 文 推 荐 你点的每个“在看”我都认真当成了喜欢
