前言

上一篇我們講解了Hadoop單節(jié)點(diǎn)的安裝，并且已經(jīng)通過VMware安裝了一臺CentOS 6.8的Linux系統(tǒng)，咱們本篇的目標(biāo)就是要配置一個(gè)真正的完全分布式的Hadoop集群，閑言少敘，進(jìn)入本篇的正題。

技術(shù)準(zhǔn)備

VMware虛擬機(jī)、CentOS 6.8 64 bit

安裝流程

我們先來回顧上一篇我們完成的單節(jié)點(diǎn)的Hadoop環(huán)境配置，已經(jīng)配置了一個(gè)CentOS 6.8 并且完成了java運(yùn)行環(huán)境的搭建，Hosts文件的配置、計(jì)算機(jī)名等諸多細(xì)節(jié)。

其實(shí)完成這一步之后我們就已經(jīng)完成了Hadoop集群的搭建的一半的工作了，因?yàn)槲覀冎劳ㄟ^虛擬機(jī)搭建所搭建的好處就是直接拷貝機(jī)器。多臺同步進(jìn)行操作，減少分別配置的時(shí)間消耗浪費(fèi)。這也是虛擬化技術(shù)所帶來的優(yōu)勢。

下面，咱們進(jìn)去分布式系統(tǒng)的詳細(xì)操作過程。

1、首先需要在VMWare中將之前創(chuàng)建的單實(shí)例的計(jì)算機(jī)進(jìn)行拷貝。

這里根據(jù)之前第一篇文章的規(guī)劃，我們至少需要再克隆出三臺計(jì)算機(jī)，作為DataNode數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)存儲。之前的上一臺機(jī)器作為Master主節(jié)點(diǎn)進(jìn)行管理。

這里先來梳理一下整個(gè)的物理架構(gòu)圖，大家有一個(gè)直接的觀念和認(rèn)識，上表中已經(jīng)和明確了，總共需要5臺服務(wù)器來使用，四臺用來搭建Hadoop集群使用，另外一臺（可選）作為MySQL等外圍管理Hadoop集群來使用。

我們在開發(fā)的時(shí)候一般也是直接通過連接外圍的這臺機(jī)器來管理Hadoop整個(gè)集群。

根據(jù)上面的物理規(guī)劃圖應(yīng)該對整個(gè)架構(gòu)有一個(gè)清晰的認(rèn)識了，好，咱們進(jìn)行實(shí)操。

關(guān)于在VMWare中進(jìn)行虛擬機(jī)的拷貝是一個(gè)比較簡單的過程。截圖如下：

然后，就是下一步就行了，這里需要記住的是，一定要選擇克隆一個(gè)完整的而不是快照。

然后，根據(jù)計(jì)算機(jī)名輸入機(jī)器名就可以了?？寺≈蟮臋C(jī)器如下：

2、配置各個(gè)Slave節(jié)點(diǎn)的機(jī)器信息。

關(guān)于各個(gè)Slave服務(wù)器的配置基本分為如下基本部分：

• 首先需要手動(dòng)更改各個(gè)從節(jié)點(diǎn)的計(jì)算機(jī)名和Hosts文件（必須?。?/li>
• 然后配置各個(gè)從節(jié)點(diǎn)的內(nèi)存值，在第一篇的文章中我已經(jīng)分析過了，這里可以將這里的內(nèi)存值設(shè)置的比Master節(jié)點(diǎn)少點(diǎn)，（土豪公司忽略?。?/li>
• 最后配置的就是存儲了，這個(gè)自己根據(jù)之前的計(jì)算公式計(jì)算出來就可以了。

首先，進(jìn)入各個(gè)機(jī)器中更改Hosts文件和計(jì)算機(jī)名，在上一篇文章我已經(jīng)介紹過了，大家可以上一篇翻閱，這里直接寫出腳本如下：

vim /etc/sysconfig/network
vim /etc/hosts

計(jì)算機(jī)名和Hosts配置文件按照之前規(guī)劃完成就行了，同樣網(wǎng)絡(luò)的IP地址也是按照規(guī)劃設(shè)置成固定的地址。

在配置完這一切之后，重啟完各個(gè)機(jī)器之后，確保各個(gè)節(jié)點(diǎn)之間可以ping 通（重點(diǎn)?。。。?。

然后剩下的內(nèi)存配置，直接關(guān)閉掉虛擬機(jī)，在VMWare中進(jìn)行設(shè)置就可以了，很簡單。

這里根據(jù)需要自行調(diào)整，然后如果可以的話，盡量將主節(jié)點(diǎn)Master的CUP處理器設(shè)置成多路多核，這樣設(shè)置的原因，我第一篇文章中就已經(jīng)詳細(xì)分析過了。

至此，各個(gè)服務(wù)器的基礎(chǔ)配置已經(jīng)完成了。

經(jīng)過上面一系列流程，大家是不是發(fā)現(xiàn)通過虛擬機(jī)拷貝這種方式省去了好多額外的配置時(shí)間，比如：裝操作系統(tǒng)、下載Hadoop安裝包、搭建Java環(huán)境等。

3、配置SSH無密碼配置。

先來解釋下SSH的概念和用途；

SSH 為 Secure Shell 的縮寫，由 IETF 的網(wǎng)絡(luò)小組（Network Working Group）所制定；SSH 為建立在應(yīng)用層和傳輸層基礎(chǔ)上的安全協(xié)議。SSH 是目前較可靠，專為遠(yuǎn)程登錄會(huì)話和其他網(wǎng)絡(luò)服務(wù)提供安全性的協(xié)議。利用 SSH 協(xié)議可以有效防止遠(yuǎn)程管理過程中的信息泄露問題。SSH最初是UNIX系統(tǒng)上的一個(gè)程序，后來又迅速擴(kuò)展到其他操作平臺。SSH在正確使用時(shí)可彌補(bǔ)網(wǎng)絡(luò)中的漏洞。SSH客戶端適用于多種平臺。幾乎所有UNIX平臺—包括HP-UX、Linux、AIX、Solaris、DigitalUNIX、Irix，以及其他平臺，都可運(yùn)行SSH。

上面就是SSH的官方含義了，摘自百度百科。

下面，我來總結(jié)下SSH在Hadoop集群中的用途。

所謂的SSH簡單一句話就是：同一用戶無密碼登錄到各臺機(jī)器。 其實(shí)，就是所有的Hadoop集群中作為分布式的一個(gè)計(jì)算框架，需要對各個(gè)節(jié)點(diǎn)的服務(wù)進(jìn)行操作，而操作的過程中需要統(tǒng)一由一個(gè)相同的用戶進(jìn)行操作，但是同一用戶登錄不同的服務(wù)器都需要密碼或者密鑰進(jìn)行身份驗(yàn)證。為了避免這個(gè)驗(yàn)證過程就使用了統(tǒng)一的一種安全協(xié)議：SSH。

其實(shí)，SSH的原理很簡單，就是提前將統(tǒng)一用戶的密碼進(jìn)行加密形成密鑰進(jìn)行分發(fā)，然后分發(fā)到各個(gè)服務(wù)器中，各個(gè)服務(wù)器對這個(gè)秘鑰加入到當(dāng)前的系統(tǒng)用戶組中，這樣這個(gè)用戶登錄的時(shí)候就不需要輸入密碼進(jìn)行登錄操作了。

希望，我上面的講解各位看官能看明白里面的含義。

下面咱們來實(shí)際操作：

• 首先進(jìn)行sshd的配置文件的修改，去掉默認(rèn)注釋，開啟SSH驗(yàn)證功能（以root用戶進(jìn)行操作）。

 vim /etc/ssh/sshd_config

 /sbin/service sshd restart

ssh localhost

ssh-keygen -t  rsa -P ''

scp ~/.ssh/id_rsa.pub 遠(yuǎn)程用戶名@遠(yuǎn)程服務(wù)器IP:~/

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.51:~/

 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

SSH  <遠(yuǎn)程IP && 域名>

ssh slave01.hadoop

vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/slaves

 vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

 <property>
  <name>dfs.replication</name>
  <value>3</value>
 </property>

bin/hadoop namenode -format

start-dfs.sh

start-yarn.sh

編輯推薦：