午夜老司机福利,成人午夜精品福利免费,亚洲欧美一级

Hadoop教程：Hadoop基本流程和代碼范例

轉(zhuǎn)帖|使用教程|編輯：龔雪|2014-08-07 12:06:07.000|閱讀 545 次

概述：圖文解析Hadoop基本流程以及Hadoop的簡(jiǎn)單應(yīng)用開發(fā)介紹。

# 界面/圖表報(bào)表/文檔/IDE等千款熱門軟控件火熱銷售中 >>

相關(guān)鏈接：

基本流程：

一個(gè)圖片太大了，只好分割成為兩部分。根據(jù)流程圖來說一下具體的一個(gè)任務(wù)執(zhí)行的情況。

1. 分布式環(huán)境中客戶端創(chuàng)建任務(wù)并提交。

2. InputFormat做Map前的預(yù)處理，主要負(fù)責(zé)以下工作：

a) 驗(yàn)證輸入的格式是否符合JobConfig的輸入定義，這個(gè)在實(shí)現(xiàn)Map和構(gòu)建Conf的時(shí)候就會(huì)知道，不定義可以是Writable的任意子類。

b) 將input的文件split為邏輯上的輸入InputSplit，其實(shí)這就是在上面提到的在分布式文件系統(tǒng)中blocksize是有大小限制的，因此大文件會(huì)被劃分為多個(gè)block。

c) 通過RecordReader來再次處理inputsplit為一組records，輸出給Map。(inputsplit只是邏輯切分的第一步，但是如何根據(jù)文件中的信息來切分還需要RecordReader來實(shí)現(xiàn)，例如最簡(jiǎn)單的默認(rèn)方式就是回車換行的切分)

3. RecordReader處理后的結(jié)果作為Map的輸入，Map執(zhí)行定義的Map邏輯，輸出處理后的key,value對(duì)到臨時(shí)中間文件。

4. Combiner可選擇配置，主要作用是在每一個(gè)Map執(zhí)行完分析以后，在本地優(yōu)先作Reduce的工作，減少在Reduce過程中的數(shù)據(jù)傳輸量。

5. Partitioner可選擇配置，主要作用是在多個(gè)Reduce的情況下，指定Map的結(jié)果由某一個(gè)Reduce處理，每一個(gè)Reduce都會(huì)有單獨(dú)的輸出文件。(后面的代碼實(shí)例中有介紹使用場(chǎng)景)

6. Reduce執(zhí)行具體的業(yè)務(wù)邏輯，并且將處理結(jié)果輸出給OutputFormat。

7. OutputFormat的職責(zé)是，驗(yàn)證輸出目錄是否已經(jīng)存在，同時(shí)驗(yàn)證輸出結(jié)果類型是否如Config中配置，最后輸出Reduce匯總后的結(jié)果。

代碼范例：

業(yè)務(wù)場(chǎng)景描述：

可設(shè)定輸入和輸出路徑(操作系統(tǒng)的路徑非HDFS路徑)，根據(jù)訪問日志分析某一個(gè)應(yīng)用訪問某一個(gè)API的總次數(shù)和總流量，統(tǒng)計(jì)后分別輸出到兩個(gè)文件中。

僅僅為了測(cè)試，因此沒有去細(xì)分很多類，將所有的類都?xì)w并于一個(gè)類便于說明問題。