Hadoop体系结构– YARN，HDFS和MapReduce
Hadoop架构
在本文中，我们将讨论有关Apache Hadoop 2.x体系结构及其组件如何详细工作的信息。
Hadoop 2.x架构
Apache Hadoop 2.x或者更高版本使用以下Hadoop架构。
它是Hadoop 2.x高级架构。
我们将在接下来的部分中讨论详细的低层架构。
Hadoop通用模块是适用于所有Hadoop组件的Hadoop基本API(一个Jar文件)。
所有其他组件都在此模块上运行。HDFS代表Hadoop分布式文件系统。
它也被称为HDFS V2，因为它是Hadoop 2.x的一部分，具有一些增强的功能。
它用作Hadoop体系结构中的分布式存储系统。YARN代表"另一个资源谈判者"。
它是Hadoop 2.x架构中的新组件。
也称为" MR V2"。MapReduce是批处理或者分布式数据处理模块。
它也被称为" MR V1"，因为它是Hadoop 1.x的一部分，具有一些更新的功能。其余所有Hadoop生态系统组件均在以下三个主要组件之上工作：HDFS，YARN和MapReduce。
在我的后续文章中，我们将详细讨论所有Hadoop生态系统组件。
与Hadoop 1.x相比，Hadoop 2.x架构的设计完全不同。
它添加了一个新组件：YARN，还更新了HDFS和MapReduce组件的职责。
Hadoop 2.x主要组件
Hadoop 2.x具有以下三个主要组件：
- HDFS
- 纱
- MapReduce
这三个也称为Hadoop 2的三大支柱。
这里的主要关键组件更改是YARN。
它确实是BigData Hadoop系统中改变游戏规则的组件。
Hadoop 2.x主要组件如何工作
Hadoop 2.x组件遵循此架构相互交互，并以可靠，高度可用和容错的方式并行工作。
Hadoop 2.x组件高级架构
所有主节点和从节点都包含MapReduce和HDFS组件。
一个主节点包含两个组件：
资源管理器(YARN或者MapReduce v2)
HDFS
它的HDFS组件也称为NameNode。
它的NameNode用于存储元数据。
如上图所示，在Hadoop 2.x中，更多的节点充当主节点。
每个第二级主节点具有3个组件：节点管理器
应用 Master
数据节点
如上图所示，每个第二级主节点都包含一个或者多个从节点。
这些从节点具有两个组成部分：
节点管理器
HDFS
It's HDFS component is also knows as Data Node. It's Data Node component is used to store actual our application Big Data. These nodes does not contain Application Master component.
Hadoop 2.x组件详细架构
Hadoop 2.x架构描述
Resource Manager:- 资源管理器是每个群集级别的组件。
资源管理器再次分为两个组件：
排程器
应用经理
资源管理器的计划程序是：
负责安排应用程序(即每个应用程序的主控)所需的资源。
它仅调度。
它确实关心监视或者跟踪那些应用程序。
应用程序主管：
Application Master是每个应用程序级别的组件。
它负责：管理分配的应用程序生命周期。
它与资源管理器的调度程序和节点管理器交互
它与Scheduler交互以获取所需的资源。
它与节点管理器交互以执行分配的任务并监视那些任务的状态。
节点管理器：
节点管理器是每个节点级别的组件。
它负责：
管理容器的生命周期。
监视每个容器的资源利用率。
容器：
每个主节点或者从节点都包含一组容器。
在此图中，主节点的名称节点未显示容器。
但是，它也包含一组容器。容器是HDFS(名称节点或者数据节点)中内存的一部分。
在Hadoop 2.x中，容器类似于Hadoop 1.x中的数据槽。
我们将在接下来的文章中看到这两个组件之间的主要区别：插槽与容器。
注意：
资源管理器是每个群集组件，其中，作为应用程序主控是每个应用程序组件。
Hadoop 1.x和Hadoop 2.x架构都遵循主从架构模型。
