有兩個新的惡意軟件，XBash和DemonBot，是針對Apache Hadoop服務器比特幣挖礦和DDOS目的。這種惡意軟件瘋狂掃描互聯網尋找Hadoop集群，當有未設安全的集群連接到公共互聯網上，幾分鐘內便可被感染。本文將描述此惡意軟件使用的機制，并提供保護Hadoop群集的相應操作。

Hadoop惡意軟件的歷史

 大約兩年前，對開源數據庫解決方案MongoDB以及Hadoop發生了大量攻擊。這些攻擊來自勒索軟件：攻擊者擦除或加密數據，然后要求贖金來恢復數據。就像最近的攻擊一樣，當時受影響的唯一Hadoop集群是那些直接連接到互聯網并且沒有啟用安全功能的集群。Cloudera曾在2017年1月發布了一篇關于此威脅的博客。該博客闡述了如何確保Hadoop集群不直接連接到互聯網，并建議啟用Cloudera的安全和治理功能。

 XBash和DemonBot的起源故事說明了安全研究人員如何看待Hadoop生態系統和漏洞的生命周期。 在2016年盧森堡的Hack.lu會議上，兩位安全研究人員發表了題為“Hadoop Safari：尋找漏洞”的演講。 他們描述了Hadoop及其安全模型，然后針對沒有啟用安全功能的集群提出了一些“攻擊”。這些攻擊類似于在大門敞開時闖入房屋。

使用Kerber進行強身份驗證

 這些攻擊受到基本安全功能的阻礙，該功能多年來一直是hadoop的一部分：使用Kerberos進行強身份驗證。如果沒有Kerberos，任何與集群交互的用戶都可以偽裝成任何其他用戶，不需要特定驗證，任何用戶都可以像任何用戶那樣執行任何操作。就好比在Linux系統中每個人都知道root密碼。

 但是，在正確配置的群集中，Kerberos用于身份驗證。這意味著要與群集進行交互，用戶必須首先輸入認證（如用戶名和密碼）以證明他們是他們所說的人。此身份驗證提供了用戶和管理員期望的安全性：用戶在系統中具有某些功能，他們無法模擬其他人，只有管理員可以訪問管理帳戶。

 但是，如果沒有Kerberos，任何人都可以接觸Hadoop集群做各種不好的事情。安全研究人員在Hack.lu建議的一個示例攻擊是提交一個簡單的YARN作業在集群中的所有機器上執行代碼。這可以用來在該集群中的每臺機器上獲取shell。

觀察一個真實的攻擊

 為了觀察攻擊的真實性，我們用Cloudera Altus創建了一個Hadoop集群。Altus是一個云服務平臺，該服務使用CDH在公共云基礎架構內大規模分析和處理數據。雖然使用Altus創建不受這些攻擊影響的安全集群很簡單，但也可能將Altus集群設置成易受攻擊。

 在Altus中，要使集群易受攻擊，就不要勾選Secure Clusters的框，也不要用AWS安全組，允許來自互聯網上任何位置的傳入流量。在創建這個對世界敞開的不安全的集群的幾分鐘內，我們就觀察到了攻擊行動。 YARN Web UI顯示了許多正在提交和運行的作業：

 大約每分鐘一次，DemonBot試圖利用集群。對我們來說幸運的是，由于DemonBot本身的錯誤配置（換句話說，我們很幸運），這些攻擊失敗了。

教訓：如果你放一個不安全的群集，它一定會受到攻擊。

Cloudera Altus的安全保障

 現在我們已經看到了一個不安全的集群會發生什么，那讓我們來設置一個更安全些的集群。 我們的目標是

1.僅允許從一組有限的計算機對群集進行SSH訪問

2.使用Kerberos啟用強身份驗證

 好在這在Altus中很容易配置。在Altus中，集群是在環境內創建的。一個環境會描述如何訪問用戶的云帳號及其包含的資源。它還指定了如何創建集群的一些基本內容。因此，我們感興趣的配置選項出現在Altus環境中。創建環境有兩種方法：通過簡單的快速入門過程或通過設置向導有更大的靈活性。

 快速入門過程當然是最簡單的。創建環境時，選擇“Environment Quickstart”路徑，然后選擇“Secure Clusters”中的“Enable”復選框：

 完成！啟用安全群集后，就啟用了Kerberos。 Quickstart路徑還將創建了一個外部世界無法訪問的安全組，防范DemonBot和XBash等漏洞。我們在此環境中創建了這樣一個集群，當然就沒有在集群上發生攻擊。

 如果需要使用環境創建向導，也可以選擇像“快速啟動”中的“安全群集”復選框。 不同之處在于，在向導中，您必須自己提供安全組。創建此安全組時，請確保它僅允許從Altus IP地址進行SSH訪問。

總結

互聯網是Hadoop集群的危險場所。 因此，我們建議如下：

• 不要將群集直接暴露給互聯網
• 始終啟用Kerberos身份驗證
• 使用Altus時，選擇“Secure Clusters”復選框

通過這些簡單的步驟，您的Hadoop集群將受到保護，免受此處描述的攻擊類型的影響。