1. HDFS设计目标

  1.错误检测和快速、自动的恢复。
  2.支持大文件存储和访问。
  3.保证数据的一致性。
  4.移动计算，而不是移动数据。
  5.异构软硬件平台间可移植。

2. HDFS组件

  HDFS的组件由Namenode，Datanode，Secondary Namenode组成。

  在Namenode的数据文件夹中，fsimage保存了元数据镜像文件(文件系统的目录树)，而edits保存了元数据的操作日志(针对文件系统做的修改操作记录)。Namenode内存中存储的元数据可以用fsimage+edits表达。任何对文件系统元数据产生修改的操作，Namenode都会使用一种称为Editlog的事务日志进行记录。Namenode在本地操作系统的文件系统中存储这个Editlog。

  Secondary Namenode负责定时从Namenode上获取fsimage和edits进行合并，然后再发送给Namenode，减少Namenode的工作量。
  HDFS采用master/slave主从结构，一个HDFS集群由一个Namenode和一定数量的Datanode组成。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录，也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求，在Namenode的统一调度下进行数据块的创建、删除和复制。HDFS架构如下图所示。

  Namenode在内存中保存着整个文件系统的名字空间和文件数据块映射的映像，这个关键的元数据结构设计得很紧凑。当Namenode启动时，它从硬盘中读取Editlog和FsImage，将所有Editlog中的事务作用在内存中的FsImage上，并将这个新版本的FsImage从内存中保存到本地磁盘上并删除旧的Editlog。这个过程称为一个检查点。
  Datanode将HDFS数据以文件的形式存储在本地的文件系统中，它并不知道有关HDFS文件的信息。它把每个HDFS数据块存储在本地文件系统的一个单独的文件中。Datanode并不在同一个目录创建所有的文件，实际上，它用试探的方法来确定每个目录的最佳文件数量，并且在适当的时候创建子目录。在同一个目录中创建所有的本地文件并不是最优的选择，这是因为本地文件系统可能无法高效地在单个目录中支持大量的文件。当一个Datanode启动时，它会扫描本地文件系统，产生一个这些本地文件对应的所有HDFS数据块的列表，然后作为报告发送到Namenode，这个报告是块状态报告。
  文件写入流程：
  1.客户端向Namenode发起文件写入请求。
  2.Namenode根据文件大小和文件块配置情况，返回给客户端所管理部分Datanode的信息。
  3.客户端将文件划分成多个块，根据Datanodede的地址信息，按顺序写入到每一个Datanode块中。
  文件读取流程：
  1.客户端向Namenode发起文件读取的请求。
  2.Namenode返回文件存储的Datanode的信息。
  3.客户端读取文件信息。

3. HDFS数据复制

  HDFS将每个文件存储成一系列的数据块，除了最后一个以外，所有数据块都是同样大小的，Hadoop3.X默认数据块大小为128MB。文件的所有数据块都有副本。HDFS的文件都是一次性写入的，并且严格要求在任何时候都只能有一个写入者。
  Namenode全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了该Datanode上所有数据块的列表。
  HDFS采用机架感知的策略。大多数情况下，副本数量为3。HDFS将一个副本存放在本地机架的节点上，一个副本存放在同一机架的另一个节点上，最后一个副本存放在不同机架的节点上。HDFS会尽量让读取程序读取离它最近的的副本。

4. HDFS健壮性

  HDFS中常见的出错情况有Namenode出错，Datanode出错和网络割裂。HDFS提供了多种错误恢复手段，保证了系统的健壮性。

4.1 磁盘数据错误，心跳检测和重新复制

  每个Datanode节点周期性向Namenode发送心跳信号。网络割裂导致一部分Datanode与Namenode失去联系。Namenode通过心跳信号的缺失来检测这一情况，并将这些最近不再发送心跳信号的Datanode标记为死机，不会再将新的IO请求发送给它们。任何存储在死机上的数据不再有效。Datanode的死机可能会引起一些数据块的副本数量低于指定值，Namenode不断地检测这些需要复制的数据块，一旦发现就启动复制操作。

4.2 集群均衡

  HDFS支持数据均衡策略。如果某个Datanode节点上的空闲空间低于特定的临界点，按照均衡策略系统就会自动地将数据从这个Datanode移动到其他空闲的Datanode。当对某个文件的请求突然增加时，也可能启动一个计划创建该文件新的副本，并且同时重新平衡集群中的其他数据。

4.3 数据完整性

  从某个Datanode获取的数据块可能是损坏的，损坏可能是由于Datanode的存储设备错误，网络错误或者软件漏洞引起的。HDFS客户端软件实现了对HDFS文件内容的校验和检查。当客户端创建一个新的HDFS文件时，会计算这个文件每个数据块的校验和，并将校验和作为一个单独的隐藏文件保存在同一个HDFS名字空间下。当客户端获取文件内容后，它会校验从Datanode获取的数据以及相应的校验和与文件中的校验和是否匹配，如果不匹配，客户端可以选择从其他Datanode获取该数据块的副本。

4.4 元数据磁盘错误

  FsImage和Editlog是HDFS的核心数据结构。如果这些文件损坏，整个HDFS实例都将失效。因而，Namenode可以配置成支持维护多个FsImage和Editlog的副本。任何对FsImage和Editlog的修改都将同步到它们的副本上。这种多副本的同步操作可能会降低Namenode每秒处理的名字空间事务数量。然而这个代价是可以接受的，因为即使HDFS的应用是数据密集的，它们也非元数据密集的。当Namenode重启的时候，它会选择最近的完整的FsImage和Editlog来使用。

4.5 快照

  快照支持某一特定时刻的数据的复制备份。利用快照，可以让HDFS在数据损坏时恢复到过去一个已知正确的时间点。

5. HDFS数据组织

  HDFS数据组织包括HDFS的数据块复制、流水线复制、文件的删除和恢复等机制，保障了HDFS高效和可靠地存储数据。

5.1 数据块存储

  HDFS支持文件的一次写入，多次读取的语义。一个典型的数据块大小为128MB，因而HDFS中的文件总是按照128MB被切分成不同的块，每个块尽可能地存储于不同的Datanode中。

5.2 流水线复制

  当客户端向HDFS文件写入数据时，一开始是写到本地临时文件中。假设该文件的副本系数设置为3，当本地临时文件累积到一个数据块的大小时，客户端会从Namenode获取一个Datanode列表用于存放副本，然后客户端开始向第一个Datanode传输数据。第一个Datanode一小部分一小部分(4KB)地接受数据，将每一部分写入本地仓库，并且同时传输该部分到列表中第二个Datanode。第二个Datanode也是这样接收并进行写入，同时传输给第三个Datanode。最后第三个Datanode也是这样接受并进行写入。
  Datanode能流水线地从前一个节点接受数据，并且同时转发给下一个Datanode，数据以流水线的方式从前一个Datanode复制到下一个Datanode。

5.3 文件的删除和恢复

  当用户或应用程序删除某个文件时，这个文件并没有立刻从HDFS中删除。HDFS会将这个文件重命名转移到/trash目录。只要文件还在/trash目录中，该文件就可以被迅速地恢复。文件在/trash中保存的时间是可以配置的，当超过这个时间，Namenode就会将该文件从名字空间中删除，删除文件会使该文件相关的数据块被释放。
  如果用户希望恢复删除的文件，可以浏览/trash目录找回该文件。/trash目录仅仅保存被删除文件的最后副本。在/trash目录上HDFS会应用一个特殊策略来自动删除文件，这个默认策略是删除/trash中保留时间超过6小时的文件。

参考

吴章勇 杨强著 大数据Hadoop3.X分布式处理实战