在與CLOUDERA合并之前，此博客文章已發布在HORTONWORKS.COM上。某些鏈接，資源或參考可能不再準確。

介紹我們的存儲環境O3

在開放式混合架構系列的最后三個博客（視覺，關鍵原則/概念，實際案例）的基礎上，現在希望更深入地研究我們的存儲環境，尤其是O3（臭氧的分子式）。

首先，我們想回顧一下Hadoop歷史。Apache Hadoop文件系統（HDFS）在2006年以5000行代碼開始。這是企業采用的第一個軟件定義的存儲，現在在商品硬件上存儲數百EB的大數據，以推動我們今天熟悉的分析革命。現在，又邁出了一大步，我們乘坐上了名為“ O3”的火箭飛船。

Ozone或O3是下一代對象存儲，旨在：

• 擴展到數萬億個文件，數千個節點（想象中，由連接的設備創建的數據量）
• 整合二級存儲層（hadoop，歸檔，備份）
• 像Apache HDFS一樣保持高度一致性，這樣分析應用程序就不會最終建立一致性層
• 講多種協議（Hadoop API，S3 API，iSCSI塊，NFS）以應對當今的各種工作負載
• 為Kubernetes和Apache YARN提供存儲接口，為新的容器化世界打下基礎

我們開始看到存儲在云世界中與計算分離，隨著網絡變得越來越快，規模越來越大，優先級流控制越來越好，計算和存儲都可以分別擴展。Cloudera的客戶可能會要求解耦存儲，以便他們可以分別擴展存儲環境。當存儲被解耦和共享時，它需要擴展并具有多種協議來支持各種用例。借助對容器編排的支持，現在可以設計工作負載，以便可以將它們部署在本地和云中。但是，需要聲明以下說法：一些核心客戶仍然喜歡將計算和存儲架構耦合以從本地化中受益，沒關系，O3架構支持兩種部署模型。

取其精華

O3利用了十多年的經驗教訓，由第一天就參與Apache HDFS的同一社區和核心團隊成員設計。

開放

顧名思義，“ O”表示O3是100％開放源代碼（Apache Hadoop項目的一部分）。客戶不必擔心專有數據格式的鎖定。

規模

從Apache HDFS的許多優勢中受益。像Apache HDFS一樣，O3可以擴展到成千上萬個節點，因為Cloudera的客戶在生產中的單個集群中有成千上萬個節點。對于某些對象存儲供應商來說，這是一個致命弱點。數據放置算法抑制了某些對象存儲供應商的規模，因為節點被永久刪除或添加，大量數據移動（超過了刪除或添加的數據量）并且新節點無法長時間使用。現在，Apache HDFS還存在文件較小的問題，因為在單個集群中創建了大量文件（為了澄清，HDFS可以輕松地在集群中擴展到250M +文件，但是這是當今連接世界的Hadoop擴展 ）。雖然將整個元數據存儲在名稱節點內部的JVM內存占用中有助于緩解延遲，但它限制了Hadoop群集中文件的總數，現在再使用名稱節點聯合來推高擴展限制。O3確實使用平坦的鍵值和存儲容器方法徹底解決了小文件問題，因此可以擴展到數百億個對象。

合并

在與客戶交流時，Cloudera的客戶希望鎖定存放在其歸檔存儲中的暗數據的價值。很多時候，他們必須將數據從一層復制到另一層，從而創建重復數據。他們想將分析應用于暗數據。 O3將提供可擴展的解決方案，以將所有輔助數據孤島（包括堆棧，日志，備份，存檔）整合到一個解決方案中，并打破孤島，然后Cloudera將最有能力將所有大數據分析帶到數據旁邊。

一致性
O3高度一致，并且始終遵循Apache HDFS的根源。由于許多內部部署和云對象存儲解決方案最終都是一致的，因此上層應用程序需要構建一個一致性層來解決最終的一致性缺陷。很多時候，這意味著它們只限于歸檔用例，而不能真正合并所有輔助存儲層。

多協議

雖然Apache HDFS是為使用Hadoop API的不可變數據（僅附加操作）而設計的，但O3卻被設計為在新世界中支持多種協議。在第一次迭代中，O3將支持Hadoop API，以便現有Hadoop工作負載可以按原樣工作，而無需進行任何更改。O3也將支持S3 API，以便Cloudera的客戶可以使其應用程序跨云和本地部署模型移植，并且Cloudera最近推出了一個支持S3 API的Alpha版本。強化Hadoop和S3 API之后，Cloudera將為O3提供iSCSI和NFS接口。通過一項舉措（在內部稱為Quadra），這個項目取得了不錯的進展，以展示iSCSI卷與Kubernetes容器一起使用。

就地升級

O3可以使用與Apache HDFS相同的服務器集（即數據節點）。這有助于O3和HDFS在同一群集中共存以及從Apache HDFS遷移到O3。我們的強烈意圖是為目前管理著數百PB的企業客戶提供無縫的就地升級途徑。

更好的用戶體驗

傳統上，Cloudera專注于Apache HDFS中強大的文件系統功能，但是圍繞Apache HDFS的用戶體驗還沒有那么豐富。從第一天開始，Cloudera就準備好投資O3的用戶體驗，并將在DataPlane Services中提供豐富的用戶體驗（HDFS和O3之間的附加監視或數據遷移）。

集裝箱就緒

當Cloudera為客戶提供選件時，O3可以部署在裸機服務器或Kubernetes容器上。O3將支持容器存儲接口（CSI），以便O3可以為Kubernetes或Apache YARN上的容器提供持久性存儲（S3 API或iSCSI接口），這又將托管Cloudera的分析工作負載，例如企業數據倉庫或數據科學/工程工作負載 。

關于Cloudera

在 Cloudera，我們相信數據可以使今天的不可能，在明天成為可能。我們使人們能夠將復雜的數據轉換為清晰而可行的洞察力。Cloudera 為任何地方的任何數據從邊緣到人工智能提供企業數據云平臺服務。在開源社區不懈創新的支持下，Cloudera推動了全球最大型企業的數字化轉型歷程。

慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業的大數據團隊，為您提供免費大數據相關業務咨詢！