1、hadoop1.0階段架構

2、hadoop2.0階段架構

3、hdfs架構

Active Namenode
主 Master(只有一個)，管理 HDFS 名稱空間，管理數(shù)據(jù)塊投影信息；配備復制策略；處理客戶端讀寫請求

Secondary NameNode

NameNode 熱備；定期合并 fsimage 和 fsedits，推送到 NameNode；當 Active NameNode 當出現(xiàn)故障時，迅速切換到新的。 Active NameNode。

Datanode

Slave（有多個）；存儲實際數(shù)據(jù)塊；執(zhí)行數(shù)據(jù)塊閱讀 / 寫

Client

與 NameNode 互動，獲取文件定位信息； DataNode 互動，讀取或寫入數(shù)據(jù)；管理； HDFS、瀏覽 HDFS。

4、MapReduce
來源于 Google 的 MapReduce 論文
發(fā)表于 2004 年 12 月
Hadoop MapReduce 是 Google MapReduce 克隆版
特點是MapReduce
擴展性好
高容錯性
適合 PB 離線處理等級以上海量數(shù)據(jù)

5、yarn架構

6、hadoop1.與hadoop2.0對比圖

7、Hive(基于MR的數(shù)據(jù)倉庫)
最初用于海量結構化日志數(shù)據(jù)分析，由Facebook開源；ETL（Extraction-Transformation-Loading）在Hadoop上構建工具的數(shù)據(jù)倉庫；使用數(shù)據(jù)計算； MapReduce，HDFS用于數(shù)據(jù)存儲。
Hive 定義一種類型 SQL 查詢語言——HQL
和SQL差不多，但是不一樣。
通常用于離線數(shù)據(jù)處理(選擇 MapReduce）；可以認為是一個 HQL→MR 語言翻譯器

8、Hbase(分布式數(shù)據(jù)庫)
源自 Google 的 Bigtable 論文
發(fā)表于 2006 年 11 月
Hbase 是 Google Bigtable 克隆版

9、Hadoop 發(fā)行版(開源版)

0 踩

1、hadoop1.0階段架構

2、hadoop2.0階段架構

3、hdfs架構

Active Namenode
主 Master(只有一個)，管理 HDFS 名稱空間，管理數(shù)據(jù)塊投影信息；配備復制策略；處理客戶端讀寫請求

Secondary NameNode

NameNode 熱備；定期合并 fsimage 和 fsedits，推送到 NameNode；當 Active NameNode 當出現(xiàn)故障時，迅速切換到新的。 Active NameNode。

Datanode

Slave（有多個）；存儲實際數(shù)據(jù)塊；執(zhí)行數(shù)據(jù)塊閱讀 / 寫

Client

與 NameNode 互動，獲取文件定位信息； DataNode 互動，讀取或寫入數(shù)據(jù)；管理； HDFS、瀏覽 HDFS。

4、MapReduce
來源于 Google 的 MapReduce 論文
發(fā)表于 2004 年 12 月
Hadoop MapReduce 是 Google MapReduce 克隆版
特點是MapReduce
擴展性好
高容錯性
適合 PB 離線處理等級以上海量數(shù)據(jù)

5、yarn架構

6、hadoop1.與hadoop2.0對比圖

7、Hive(基于MR的數(shù)據(jù)倉庫)
最初用于海量結構化日志數(shù)據(jù)分析，由Facebook開源；ETL（Extraction-Transformation-Loading）在Hadoop上構建工具的數(shù)據(jù)倉庫；使用數(shù)據(jù)計算； MapReduce，HDFS用于數(shù)據(jù)存儲。
Hive 定義一種類型 SQL 查詢語言——HQL
和SQL差不多，但是不一樣。
通常用于離線數(shù)據(jù)處理(選擇 MapReduce）；可以認為是一個 HQL→MR 語言翻譯器

8、Hbase(分布式數(shù)據(jù)庫)
源自 Google 的 Bigtable 論文
發(fā)表于 2006 年 11 月
Hbase 是 Google Bigtable 克隆版

9、Hadoop 發(fā)行版(開源版)