在线电子书网站怎么做,设计案例,阿里巴巴网站的搜索引擎优化案例,国企央企都玩劳务外包大数据Hadoop-HDFS
基本系统架构
HDFS架构包含三个部分#xff1a;NameNode#xff0c;DataNode#xff0c;Client。 NameNode#xff1a;NameNode用于存储、生成文件系统的元数据。运行一个实例。 DataNode#xff1a;DataNode用于存储实际的数据#xff0c;将自己管理…大数据Hadoop-HDFS
基本系统架构
HDFS架构包含三个部分NameNodeDataNodeClient。 NameNodeNameNode用于存储、生成文件系统的元数据。运行一个实例。 DataNodeDataNode用于存储实际的数据将自己管理的数据块上报给NameNode 运行多个实例。 Client支持业务访问HDFS从NameNode ,DataNode获取数据返回给业务。多个实例和业务一起运行。
HDFS数据写入流程 HDFS数据写入流程如下 1业务应用调用HDFS Client提供的API请求写入文件。 2HDFS Client联系NameNodeNameNode在元数据中创建文件节点。 3业务应用调用write API写入文件。 4HDFS Client收到业务数据后从NameNode获取到数据块编号、位置信息后联系DataNode并将需要写入数据的DataNode建立起流水线。完成后客户端再通过自有协议写入数据到DataNode1再由DataNode1复制到DataNode2, DataNode3。 5写完的数据将返回确认信息给HDFS Client。 6所有数据确认完成后业务调用HDFS Client关闭文件。 7业务调用close, flush后HDFS Client联系NameNode确认数据写完成NameNode持久化元数据。
HDFS数据读取流程 HDFS数据读取流程如下 1业务应用调用HDFS Client提供的API打开文件。 2HDFS Client联系NameNode获取到文件信息数据块、DataNode位置信息。 3业务应用调用read API读取文件。 4HDFS Client根据从NameNode获取到的信息联系DataNode获取相应的数据块。(Client采用就近原则读取数据)。 5HDFS Client会与多个DataNode通讯获取数据块。 6数据读取完成后业务调用close关闭连接。