Hadoop HDFS

Hadoop文件系統使用分佈式文件系統設計開發。它是運行在普通硬件。不像其他的分佈式系統，HDFS是高度容錯以及使用低成本的硬件設計。

HDFS擁有超大型的數據量，並提供更輕鬆地訪問。爲了存儲這些龐大的數據，這些文件都存儲在多臺機器。這些文件都存儲以冗餘的方式來拯救系統免受可能的數據損失，在發生故障時。 HDFS也使得可用於並行處理的應用程序。

HDFS的特點

• 它適用於在分佈式存儲和處理。
• Hadoop提供的命令接口與HDFS進行交互。
• 名稱節點和數據節點的幫助用戶內置的服務器能夠輕鬆地檢查集羣的狀態。
• 流式訪問文件系統數據。
• HDFS提供了文件的權限和驗證。

HDFS架構

下面給出是Hadoop的文件系統的體系結構。

HDFS遵循主從架構，它具有以下元素。

名稱節點 - Namenode

名稱節點是包含GNU/Linux操作系統和軟件名稱節點的普通硬件。它是一個可以在商品硬件上運行的軟件。具有名稱節點系統作爲主服務器，它執行以下任務：

• 管理文件系統命名空間。
• 規範客戶端對文件的訪問。
• 它也執行文件系統操作，如重命名，關閉和打開的文件和目錄。

數據節點 - Datanode

Datanode具有GNU/Linux操作系統和軟件Datanode的普通硬件。對於集羣中的每個節點(普通硬件/系統)，有一個數據節點。這些節點管理數據存儲在它們的系統。

• 數據節點上的文件系統執行的讀寫操作，根據客戶的請求。
• 還根據名稱節點的指令執行操作，如塊的創建，刪除和複製。

塊

一般用戶數據存儲在HDFS文件。在一個文件系統中的文件將被劃分爲一個或多個段和/或存儲在個人數據的節點。這些文件段被稱爲塊。換句話說，數據的HDFS可以讀取或寫入的最小量被稱爲一個塊。缺省的塊大小爲64MB，但它可以增加按需要在HDFS配置來改變。

HDFS的目標

• 故障檢測和恢復：由於HDFS包括大量的普通硬件，部件故障頻繁。因此HDFS應該具有快速和自動故障檢測和恢復機制。

• 巨大的數據集：HDFS有數百個集羣節點來管理其龐大的數據集的應用程序。

• 數據硬件：請求的任務，當計算髮生不久的數據可以高效地完成。涉及巨大的數據集特別是它減少了網絡通信量，並增加了吞吐量。