【Hadoop】Hadoop组件 -之 HDFS组件

一、概述

Hadoop作为分布式存储，分布式计算的大数据生态系统，涵盖了从数据源到数据采集，数据存储，数据计算，数据分析，数据应用的各个场景，学习大数据的架构，了解各个组件对地工作原理和运行机制非常关键。

Hadoop生态系统以下将从以下几个有代表性的组件分布介绍工作原理及运行的机制。

二、HDFS组件

HDFS(Hadoop Distributed, Filesystem)大数据分布式的文件存储系统。

2.1概述

Hadoop作为分布式存储分布式计算的典范，其也经历了三个发展阶段：

第一阶段，集中存，集中算；对于集中算，遇到机器性能的瓶颈。

第二阶段，集中存，分开算；分布式计算，需要将任务做拆分到多台服务器，这时候会需要网络速度的瓶颈；

第三阶段，分开存，分开算；因分布都是采用了廉价的机器进行分布式的存储，将一个大的任务进行拆分，分开计算也解决了集中计算的痛点。

2.2 HDFS 分布式存储系统

背景：在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。

定义：统一管理分布在集群上的文件系统称为分布式文件系统 。

特点：Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统

2.3 应用场景

适合的场景

1）存储非常大的文件：这里非常大指的是几百M,G,或者TB级别，需要高吞吐量，对延时没有要求。

2）采用流式的数据访问方式：即一次写入，多次读取，数据集经常从数据源生成或者拷贝一次，然后再其上做很多分析工作。

3）运行于商业硬件上：Hadoop不需要特别贵的机器，可运行在普通廉价的机器，可以节约成本。

4）需要高容错性；

5）为数据存储提供所需的扩展能力

不适合的场景

2.4组成架构

3、 Client ：就是客户端。

1 ）文件切分。文件上传 HDFS 的时候， Client 将文件切分成一个一个的 Block ，然后进行上传；

2 ）与 NameNode 交互，获取文件的位置信息；

3 ）与 DataNode 交互，读取或者写入数据；

4 ） Client 提供一些命令来管理 HDFS ，比如 NameNode 格式化；

5 ） Client 可以通过一些命令来访问 HDFS ，比如对 HDFS 增删查改操作；

4、 Secondary NameNode ： 并非 NameNode 的热备。当 NameNode 挂掉的时候，它并不能马上替换 NameNode 并

提供服务。

1 ）辅助 NameNode ，分担其工作量，比如定期合并 Fsimage 和 Edits ，并推送给 NameNode ；

2 ）在紧急情况下，可辅助恢复 NameNode

2.5 Block块的存放方式及介绍

所有的文件都是 以 block 块 的方式存放在 HDFS 文件系统当中 , 作用如下：

1. 一个文件有可能大于集群中任意一个磁盘，引入块机制 , 可以很好的解决这个问题

2. 使用块作为文件存储的逻辑单位可以简化存储子系统

3. 块非常适合用于数据备份进而提供数据容错能力。

在 Hadoop1.x 当中 , 文件的 block 块默认大小是 64M, hadoop2/3.x 当中 , 文件的 block 块大小默认是 128M, block 块的大小可以通过 hdfs-site.xml 当中的配置文件进行指定

Block大小设置的原理：

1. 如果寻址时间约为 10ms ，即查找到目标 block 的时 间为10ms 。

2. 寻址时间为传输时间的 1% 时，则为最佳状态 。

（专家）因此，传输时间=10ms/0.01=1000ms=1s

3. 而目前磁盘的传输速率普遍为 100MB/s 。

4. block 大小 =1s*100MB/s=100MB

 

思考：为什么块的大小不能设置太小，也不能设置太大？

1 ） HDFS 的块设置 太小，会增加寻址时间 ，程序一直在找块的开始位置；

2 ）如果块设置的 太大 ，从 磁盘传输数据的时间 会明显 大于定位这个块开始位置所需的时间 。导致程序 在处理这块数据时，会非常慢。

总结： HDFS 块的大小设置主要取决于磁盘传输速率

2.6 HDFS文件副本与机架感知

副本机制与机架感知：

HDFS 分布式文件系统的内部有一个 副本存放策略 ：以默认的副 本数=3 为例：

1. 第一个副本在 Client 所处的节点上。如果客户端在集群外，随机选一个。

2. 第二个副本在另一个机架的随机一个节点

3. 第三个副本在第二个副本所在机架的随机节点

 

2.7  HDFS安全模式

安全模式是 hadoop 的一种保护机制，用于保证集群中的数据块的安全性。当集群启动的时候，会首先进 入安全模式。当系统处于安全模式时会检查数据块的完整性。

假设我们设置的副本数（即参数dfs.replication ）是 3 ，那么在 datanode 上就应该有 3 个副本存在，假设只 存在2 个副本，那么比例就是 2/3=0.666 。 hdfs 默认的副本率 0.999 。我们的副本率 0.666 明显小于 0.999 ， 因此系统会自动的复制副本到其他dataNode ，使得副本率不小于 0.999 。如果系统中有 5 个副本，超过我 们设定的3 个副本，那么系统也会删除多于的 2 个副本。

在安全模式状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在当整个系统达到安 全标准时，HDFS 自动离开安全模式。

 

三、HDFS进阶理论

3.1 Hadoop写数据流程

Metadata 元数据，最小的数据单位，这里主要是数据名称，类型，大小，数据副本，数据地址，拥有者信息等。

 3.2 Hadoop读数据流程

3.3 NameNode工作机制

3.4 Fsimage和Edits概念

3.5 DataNode工作机制