HDFS中的从节点和磁盘故障

时间:2020-02-23 14:33:37  来源:igfitidea点击:

与死亡和税收,磁盘故障(并且给出足够的时间,甚至节点或者机架故障),在Hadoop分布式文件系统(HDFS)中是不可避免的。
在所示的示例中,即使一个机架失败,群集也可以继续运行。
性能会受到影响,因为我们已经丢失了一半的处理资源,但系统仍然在线,所有数据仍然可用。

在磁盘驱动器或者从节点发生故障的情况下,HDFS(称为NameNode)的中央元数据服务器最终发现存储在失败资源上的文件块不再可用。
例如,如果从属节点3发生故障,则意味着块A,C和D不错。

换句话说,HDFS中可以使用太少的这些块的副本。
当HDFS感知一个块不错的块时,它会订购一个新副本。

要继续实现示例,请说从未在几个小时后返回从节点3.
同时,HDFS确保所有文件块有三个副本。
所以现在,块A,C和D有四个复印件,并且过量复制。
与块递增的块一样,HDFS中央元数据服务器也会发现此问题,并将订购要删除的每个文件的一个副本。

数据可用性的一个好结果是,当磁盘故障确实发生时,无需立即替换失败的硬盘驱动器。
这可以更有效地以定期安排的间隔完成。