Hadoop分布式文件系统(HDFS)高可用性

时间:2020-02-23 14:33:27  来源:igfitidea点击:

通常在Hadoop的初期阶段,大量的讨论是以NameNode对单一失败点的代表性的。
Hadoop,总的来说,始终具有稳健性和宽容的架构,但此密钥区域除外。
没有nameNode,没有Hadoop集群。

使用Hadoop 2,我们可以配置HDFS,以便有一个活动的nameNode和备用nameNode。
备用NameNode需要位于专用主节点上,该节点配置为与活动NameNode使用的主节点相同。

备用NameNode不会坐在NameNode处理所有块地址请求时静止。
备用NameNode,充电的任务是保持块位置的状态和内存中的元数据,处理HDFS检查点的职责。

Active NameNode将"文件"条目写入文件更改为大多数journdnode服务,该服务在主节点上运行。
(注意:HDFS高可用性解决方案需要至少三个主节点,如果还有更多,则只有一个奇数。
)

如果发生故障,则备用节点首先读取所有完成的日记条目(其中大多数期刊节点换句话说)以确保新的活动NameNode与群集的状态完全一致。

zookeeper用于监视活动的nameNode,如果活动的nameNode变得不可用,则处理故障转移物流。
Active和Standby Namenodes都有专用的ZooKeeper故障转移控制器(ZFC),用于执行监控和故障转移任务。
如果发生故障,ZFC会通知zookeeper实例在群集中,然后选择一个新的活动NameNode。

Apache zookeeper为分布式系统提供协调和配置服务,因此我们难怪我们看到它在Hadoop的所有地方使用。