由Apache Flink提供支持的Cloudera Streaming Analytics的1.2.0.0版本提供了廣泛的新功能，包括通過Apache Atlas支持沿襲和元數據跟蹤，支持連接到Apache Kudu以及期待已久的FlinkSQL API的第一次迭代。

Flink的SQL接口使流處理民主化，因為它可以迎合比當前廣泛使用的Java和Scala API（面向數據工程人群）更大的社區。將SQL推廣到流處理和流分析用例提出了一系列挑戰：必須解決表達無限流和記錄的及時性的問題。可以考慮以下查詢：

該查詢產生每個用戶會話的點擊計數，該計數由會話之間30分鐘的不活動狀態定義，并在遇到新會話時實時更新。這是在流處理中已經很好建立的概念的示例，在這種情況下，會話窗口被引入到SQL語法中以表示記錄的及時性。 重要的是要強調Flink支持的語法是ANSI SQL，它不是特定的方言。實際上，Flink社區正在與Apache Beam和Apache Calcite社區合作，以統一的方式應對FlinkSQL的挑戰。

轉變流媒體組織

從上述查詢來看，很明顯，更大的用戶群可以有效地制定查詢，從而為企業增加價值。但是，它給組織帶來了以下問題：

• 在流域中可以用SQL制定多少業務邏輯？
• 這如何改變從開發到生產的流式作業旅程？
• 這如何影響數據工程團隊的范圍？

今天編寫的大多數流查詢都可以通過FlinkSQL表示，以提供有根據的猜測，希望它能達到今天遇到的流查詢的80％左右，這很適合通過此SQL API實施。可能你會覺得夸大其詞，后面我們會向你一一介紹實現的過程。

當前，Cloudera經常遇到使用Flink的組織，其中近實時地獲得業務價值是數據工程師的特權。數據分析人員通常是特定領域知識的專家，他們傾向于使用標準MPP或OLAP系統中存儲的這些流的快照，例如通過Apache Impala查詢存儲在Kudu中的數據。這從本質上在尋找見解與以流化方式對其進行生產化之間引入了差距。分析師在證明其假設之后，必須與幾個數據工程師確保數周甚至數月的項目資金投入，以細致地重新實現已經用另一種語言（通常是SQL）制定的業務邏輯。 FlinkSQL使分析人員可以直接與流進行交互，并單擊按鈕即可部署流作業。

反過來，這使數據工程師可以將精力集中在具有挑戰性的20％的查詢上，并建立可重用的特定于域的庫，這些庫可以直接從SQL中用作一組用戶定義的函數來利用。

FlinkSQL功能

為了展示FlinkSQL的功能，最近Cloudera在標準教程套件下發布了一個SQL教程。這里重點介紹一些功能。

這個教程主要針對Apache Kafka主題進行操作，其中包含JSON格式的項目交易。首先，可以為此定義一個表模式，并指定我們要測量timestamp列記錄的時間流逝（稱為事件時間語義）。

請注意，在使用事件時間語義時，必須指定水印以為Flink提供啟發式方法以測量事件時間的經過。這可以是返回時間戳的任意表達式。在較高級別上，水印指定了正確性（無限期等待潛在的延遲到達）和延遲（盡可能快地產生結果）之間的折衷。

創建上表后，可以提交以下查詢：

第一個查詢提供了直接的采樣。使用limit子句是可選的，省略會導致結果以流方式不斷更新。第二個查詢實現一個簡單的窗口聚合。這些查詢的結果可以返回到交互式Flink SQL cli，或者可以通過INSERT INTO語句直接寫入輸出表。

FlinkSQL還提供了更復雜的子句，例如，可以按如下公式查找在每10分鐘的窗口中查找交易次數最多的前3個項目：

除了這些內置語言元素之外，您還可以將Java和Scala中實現的功能注冊到FlinkSQL環境中。FlinkSQL還支持訪問外部目錄以訪問存儲在外部系統中的架構和數據，當前，Cloudera支持Hive，Kudu和Schema注冊表目錄。

下一步

在當前版本中，提交SQL查詢的兩個選項是使用SQL CLI或將它們包裝到Java程序中。正如Cloudera在Flink Forward San Francisco上最近的主題演講中所討論的，他們正在積極地致力于圖形用戶界面，以幫助進行交互式查詢編輯。

在添加GUI之后，Cloudera將在短期內公開其針對第三方工具的編程后端，以公開與FlinkSQL等效的JDBC接口，該接口很有可能基于REST和Kafka構建。

關于Cloudera

在 Cloudera，我們相信數據可以使今天的不可能，在明天成為可能。我們使人們能夠將復雜的數據轉換為清晰而可行的洞察力。Cloudera 為任何地方的任何數據從邊緣到人工智能提供企業數據云平臺服務。在開源社區不懈創新的支持下，Cloudera推動了全球最大型企業的數字化轉型歷程。

慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業的大數據團隊，為您提供免費大數據相關業務咨詢！