Cloudera平臺軟件體系結(jié)構(gòu)

Cloudera的軟件體系結(jié)構(gòu)中包含了以下模塊：系統(tǒng)部署和管理，數(shù)據(jù)存儲，資源管理，處理引擎，安全，數(shù)據(jù)管理，工具庫以及訪問接口。

一些關(guān)鍵組件的角色信息：

硬件配置

集群服務(wù)器按照節(jié)點承擔(dān)的任務(wù)分為管理節(jié)點和工作節(jié)點。管理節(jié)點上一般部署各組件的管理角色，工作節(jié)點一般部署有各角色的存儲、容器或計算角色。根據(jù)業(yè)務(wù)類型不同，集群具體配置也有所區(qū)別：

1. 實時流處理服務(wù)集群：Hadoop實時流處理性能對節(jié)點內(nèi)存和CPU有較高要求，基于Spark Streaming的流處理消息吞吐量可隨著節(jié)點數(shù)量增加而線性增長。

2. 在線分析業(yè)務(wù)集群：在線分析業(yè)務(wù)一般基于Impala等MPP SQL引擎，復(fù)雜的SQL計算對內(nèi)存容量有較高要求，因此需要配置128G甚至更多的內(nèi)存。

3. 云存儲業(yè)務(wù)集群：云存儲業(yè)務(wù)主要面向海量數(shù)據(jù)和文件的存儲和計算，強(qiáng)調(diào)單節(jié)點存儲容量和成本，因此配置相對廉價的SATA硬盤，滿足成本和容量需求

角色分配

1.小規(guī)模集群

搭建小規(guī)模集群一般是為了支撐專有業(yè)務(wù)，受限于集群的存儲和處理能力，不太適合用于多業(yè)務(wù)的環(huán)境。這可以部署成一個HBase的集群；也可以是一個分析集群，包含YARN，Impala。在小規(guī)模集群中，為了最大化利用集群的存儲和處理能力，節(jié)點的復(fù)用程度往往也比較高。下圖是一個典型的小規(guī)模集群部署方式：

對于那些需要兩個以上節(jié)點來支持HA功能的，集群中分配有一個工具節(jié)點可以承載這些角色，并同時可以部署一些其他工具角色，這些工具角色本身消耗不了多少資源：

其余節(jié)點可以部署為純工作節(jié)點，包含：

2.中等規(guī)模集群

一個中等規(guī)模的集群，集群的節(jié)點數(shù)一般在20到200左右，通常的數(shù)據(jù)存儲可以規(guī)劃到幾百TB，適用于一個中型企業(yè)的數(shù)據(jù)平臺，或者大型企業(yè)的業(yè)務(wù)部門數(shù)據(jù)平臺。節(jié)點的復(fù)用程度可以降低，可以按照管理節(jié)點、主節(jié)點、工具節(jié)點和工作節(jié)點來劃分。

管理節(jié)點上就安裝Cloudera Manager、Cloudera Management Service。

主節(jié)點上安裝有個CDH服務(wù)的管理節(jié)點以及HA的組件，可以如下方式部署：

工具節(jié)點可以部署以下一些角色：

工作節(jié)點的部署和小規(guī)模類似：

3.大規(guī)模集群

大規(guī)模集群的數(shù)量一般會在200以上，存儲容量可以是大幾百的TB甚至是PB級別，適用于大型企業(yè)搭建全公司的數(shù)據(jù)平臺。和中等規(guī)模的集群相比，部署的方案相差不大，主要是一些主節(jié)點可用性的增強(qiáng)。

HDFS JournalNode由3個增加到5個，Zookeeper Server和HBase Master也由3個增加到5個，Hive Metastore的數(shù)量有1個增加到3個。

網(wǎng)絡(luò)拓?fù)?/strong>

1.單機(jī)架部署

對于一個小規(guī)模的集群，或者一個單個rack的集群，所有的節(jié)點都連接到相同的接入層交換機(jī)。接入層交換機(jī)配置為堆疊的方式，互為冗余并增加了交換機(jī)吞吐。所有的節(jié)點兩個網(wǎng)卡配置為主備或者負(fù)載均衡模式，分別連入兩個交換機(jī)。在這種部署模式下，接入層交換機(jī)也充當(dāng)了聚合層的角色。

2.多機(jī)架部署

在多機(jī)架的部署模式下，除了接入層交換機(jī)，還需要聚合層交換機(jī)，用于連接各接入層交換機(jī)，負(fù)責(zé)跨rack的數(shù)據(jù)存取。

---

實際部署樣例

在機(jī)架上分配角色時，為了避免接入層交換機(jī)的故障導(dǎo)致集群的不可用，需要將一些高可用的角色部署到不同的接入層交換機(jī)之下（注是不同的接入層之下，而不是不同的物理rack下，很多時候，客戶會將不同物理rack下的機(jī)器接入到相同的接入層交換機(jī)下。）以下是一個80個節(jié)點的物理部署樣例。

 

Cloudera Manager6.0安裝文檔|Cloudera產(chǎn)品介紹|

 

標(biāo)簽：大數(shù)據(jù)解決方案

本站文章除注明轉(zhuǎn)載外，均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載，但請務(wù)必注明出處、不得修改原文相關(guān)鏈接，如果存在內(nèi)容上的異議請郵件反饋至chenjj@fc6vip.cn

上一篇：Cloudera|傳統(tǒng)數(shù)據(jù)庫向大數(shù)據(jù)的漸進(jìn)式轉(zhuǎn)型 下一篇：新聞 | Cloudera發(fā)布人工智能工業(yè)化的愿景