截止到現(xiàn)在我們已經(jīng)更新了四期，涵蓋了大數(shù)據(jù)新人面試、大數(shù)據(jù)經(jīng)驗(yàn)者面試、大數(shù)據(jù)hadoop面試和hadoop開(kāi)發(fā)新人面試四個(gè)板塊，如果對(duì)其中的版塊有興趣的小伙伴，點(diǎn)擊下方文章跳轉(zhuǎn)觀看。

《干貨|50個(gè)大數(shù)據(jù)面試問(wèn)題及答案第一篇:10個(gè)大數(shù)據(jù)面試入門(mén)級(jí)問(wèn)題》

《干貨|50個(gè)大數(shù)據(jù)面試問(wèn)題及答案第二篇：10個(gè)大數(shù)據(jù)面試中級(jí)問(wèn)題 》

《干貨|50個(gè)大數(shù)據(jù)面試問(wèn)題及答案第三篇：10個(gè)大數(shù)據(jù)Hadoop面試問(wèn)題》

《干貨|50個(gè)大數(shù)據(jù)面試問(wèn)題及答案第四篇：Hadoop開(kāi)發(fā)人員新手面試問(wèn)題》

馬上開(kāi)始我們今天的分享，祝您在面試的時(shí)候能有所幫助！

經(jīng)驗(yàn)豐富的Hadoop開(kāi)發(fā)人員面試問(wèn)題

面試官對(duì)經(jīng)驗(yàn)豐富的Hadoop開(kāi)發(fā)人員有更多的期望，因此他們會(huì)提一些相對(duì)有難度的問(wèn)題。因此，如果您已經(jīng)獲得了一些經(jīng)驗(yàn)，請(qǐng)不要忘記涵蓋基于命令，基于場(chǎng)景，基于真實(shí)體驗(yàn)的問(wèn)題。在這里，我們?yōu)橛薪?jīng)驗(yàn)的Hadoop開(kāi)發(fā)人員帶來(lái)一些示例面試問(wèn)題。

41.如何重啟Hadoop中的所有守護(hù)進(jìn)程？

答：要重新啟動(dòng)所有守護(hù)進(jìn)程，需要先停止所有守護(hù)進(jìn)程。Hadoop目錄包含sbin目錄，該目錄存儲(chǔ)腳本文件以在Hadoop中停止和啟動(dòng)守護(hù)進(jìn)程。

使用stop daemons命令/sbin/stop-all.sh停止所有守護(hù)進(jìn)程，然后使用/sin/start-all.sh命令再次啟動(dòng)所有守護(hù)進(jìn)程。

42.在Hadoop中使用jps命令有什么用？

答： jps命令用于檢查Hadoop守護(hù)程序是否正常運(yùn)行。此命令顯示在計(jì)算機(jī)上運(yùn)行的所有守護(hù)程序，即Datanode，Namenode，NodeManager，ResourceManager等。

43.解釋覆蓋HDFS中復(fù)制因子的過(guò)程。

答：有兩種方法可以覆蓋HDFS中的復(fù)制因子。

方法1：在文件基礎(chǔ)上

在此方法中，使用Hadoop FS shell在文件的基礎(chǔ)上更改復(fù)制因子。用于此的命令是：

$ hadoop fs - setrep -w2 / my / test_file

這里，test_file是復(fù)制因子將設(shè)置為2的文件名。

方法2：在目錄基礎(chǔ)上

在此方法中，復(fù)制因子在目錄基礎(chǔ)上更改，即修改給定目錄下所有文件的復(fù)制因子。

$ hadoop fs -setrep -w5 / my / test_dir

這里，test_dir是目錄的名稱(chēng)，目錄的復(fù)制因子，其中的所有文件都將設(shè)置為5。

44.沒(méi)有任何數(shù)據(jù)的NameNode會(huì)發(fā)生什么？

答案： Hadoop中不存在沒(méi)有任何數(shù)據(jù)的NameNode。如果有NameNode，它將包含一些數(shù)據(jù)或它將不存在。

45.解釋NameNode恢復(fù)過(guò)程。

答案： NameNode恢復(fù)過(guò)程涉及下面提到的使Hadoop集群運(yùn)行的步驟：

• 在恢復(fù)過(guò)程的第一步中，文件系統(tǒng)元數(shù)據(jù)副本（FsImage）啟動(dòng)一個(gè)新的NameNode。
• 下一步是配置DataNodes和Clients。然后，這些DataNode和客戶端將確認(rèn)新的NameNode。
• 在最后一步中，新的NameNode在完成最后一個(gè)檢查點(diǎn)FsImage加載和接收來(lái)自DataNodes的塊報(bào)告時(shí)開(kāi)始為客戶端提供服務(wù)。

注意：不要忘記，這個(gè)NameNode恢復(fù)過(guò)程在大型Hadoop集群上消耗了大量時(shí)間。因此，它使日常維護(hù)變得困難。因此，建議使用HDFS高可用性架構(gòu)。

46. Hadoop CLASSPATH如何啟動(dòng)或停止Hadoop守護(hù)進(jìn)程是必不可少的？

CLASSPATH包含必要的目錄，其中包含用于啟動(dòng)或停止Hadoop守護(hù)程序的jar文件。因此，設(shè)置CLASSPATH對(duì)于啟動(dòng)或停止Hadoop守護(hù)進(jìn)程至關(guān)重要。

但是，每次設(shè)置CLASSPATH都不是我們遵循的標(biāo)準(zhǔn)。通常CLASSPATH寫(xiě)在/etc/hadoop/hadoop-env.sh文件中。因此，一旦我們運(yùn)行Hadoop，它將自動(dòng)加載CLASSPATH。

47.為什么HDFS只適用于大型數(shù)據(jù)集而不適用于許多小文件？

這是由于NameNode的性能問(wèn)題。通常，NameNode被分配了巨大的空間來(lái)存儲(chǔ)大規(guī)模文件的元數(shù)據(jù)。元數(shù)據(jù)應(yīng)該來(lái)自單個(gè)文件，以實(shí)現(xiàn)最佳的空間利用率和成本效益。對(duì)于小尺寸文件，NameNode不使用整個(gè)空間，這是性能優(yōu)化問(wèn)題。

48.為什么我們需要Hadoop中的數(shù)據(jù)位置？

HDFS中的數(shù)據(jù)集存儲(chǔ)為Hadoop集群的DataNodes中的塊。在MapReduce作業(yè)執(zhí)行期間，各個(gè)Mapper處理塊（Input Splits）。如果數(shù)據(jù)不在Mapper執(zhí)行作業(yè)的同一節(jié)點(diǎn)中，則需要通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)從DataNode復(fù)制到映射器DataNode。

現(xiàn)在，如果MapReduce作業(yè)具有超過(guò)100個(gè)Mapper并且每個(gè)Mapper嘗試同時(shí)從集群中的其他DataNode復(fù)制數(shù)據(jù)，則會(huì)導(dǎo)致嚴(yán)重的網(wǎng)絡(luò)擁塞，這是整個(gè)系統(tǒng)的一個(gè)重要性能問(wèn)題。因此，數(shù)據(jù)接近計(jì)算是一種有效且具有成本效益的解決方案，在技術(shù)上稱(chēng)為Hadoop中的數(shù)據(jù)位置。它有助于提高系統(tǒng)的整體吞吐量。

數(shù)據(jù)局部性能的3 種：

• 數(shù)據(jù)本地 - 在此類(lèi)型數(shù)據(jù)和映射器駐留在同一節(jié)點(diǎn)上。這是最接近數(shù)據(jù)和最優(yōu)選的方案。
• 機(jī)架本地 - 在這種情況下，映射器和數(shù)據(jù)駐留在同一機(jī)架上，但位于不同的數(shù)據(jù)節(jié)點(diǎn)上。
• 不同的機(jī)架 - 在這種情況下，映射器和數(shù)據(jù)駐留在不同的機(jī)架上。

49. DFS可以處理大量數(shù)據(jù)，為什么我們需要Hadoop框架？

Hadoop不僅用于存儲(chǔ)大數(shù)據(jù)，還用于處理這些大數(shù)據(jù)。雖然DFS（分布式文件系統(tǒng)）也可以存儲(chǔ)數(shù)據(jù)，但它缺少以下功能：

• 它不容錯(cuò)
• 網(wǎng)絡(luò)上的數(shù)據(jù)移動(dòng)取決于帶寬。

50.什么是Sequencefileinputformat？

Hadoop使用特定的文件格式，稱(chēng)為序列文件。序列文件將數(shù)據(jù)存儲(chǔ)在序列化鍵值對(duì)中。Sequencefileinputformat是讀取序列文件的輸入格式。

50個(gè)大數(shù)據(jù)面試問(wèn)題及答案系列已經(jīng)全部完結(jié)，慧都網(wǎng)衷心的祝愿您在面試中取得成功，不管您是新人還是經(jīng)驗(yàn)豐富的老手都希望您能在我們分享的50個(gè)面試問(wèn)題和答案中獲取您想要的東西，如果您發(fā)現(xiàn)除我們分享的50個(gè)問(wèn)題中并沒(méi)有涵蓋您認(rèn)為的專(zhuān)業(yè)問(wèn)題，您可以評(píng)論留言給我們，我們期待和您一起分享。

與此同時(shí)可以撥打慧都熱線023-68661681或咨詢，我們將幫您轉(zhuǎn)接大數(shù)據(jù)專(zhuān)家團(tuán)隊(duì)，并發(fā)送相關(guān)資料給您！