www.五月天婷婷,五夜婷婷,麻豆视频在线观看

全面擁抱開源技術，數據實時集成案例分享

原創|行業資訊|編輯：陳俊吉|2016-07-13 11:06:50.000|閱讀 233 次

概述： 隨著業界傳播開源的理念，推廣開源項目，為 IT 開發者提供了一個發現、使用、并交流開源技術的方向。很多企業在建設他們的業務交易和分析系統的項目中，開始關注和選用具有“自我特色”的開源技術和軟件作為整體解決方案中的組成部分去實施。

# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>

相關鏈接：

隨著業界傳播開源的理念，推廣開源項目，為 IT 開發者提供了一個發現、使用、并交流開源技術的方向。很多企業在建設他們的業務交易和分析系統的項目中，開始關注和選用具有“自我特色”的開源技術和軟件作為整體解決方案中的組成部分去實施。

以下案例是國外某客戶，包括核心系統在內的眾多生產系統中已運行 IBM 軟件產品，其核心環節中使用 IBM 數據復制軟件，再結合開源軟件和工具，實現了從重要的交易業務生產系統中使用 IBM 軟件實時地復制數據到目標系統，在目標系統上通過開源軟件把數據進行分發、加工處理、交付到數據庫分析系統中，實現對業務進行實時分析。

1）數據實時復制

負責從各個業務系統上實時地復制交易數據，選用軟件產品來實現。

2）數據采集

負責從目標系統上實時地采集數據，選用 Apache Flume 來實現。

3）數據接入

由于采集數據的速度和數據處理的速度不一定同步，因此添加一個消息中間件來作為緩沖，選用 Apache Kafka。

4）流式計算

對采集到的數據按業務規范進行實時處理和分析，選用 Apache Storm。

5）數據輸出

把處理后的結果存放，實現持久化、穩定化和高效化，使用開源的NoSQL數據庫。

方案優點

下面，我們對幾個開源的核心軟件做個簡單扼要的說明，相信大家對都有了一定了解，此處不多花筆墨作說明。

1） Apache Flume

Apache Flume 提供了一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的日志收集系統；支持在日志系統中定制各類數據發送方，用于收集數據 Flume 提供對數據進行高效處理，擅長轉移大數據量的日志和交易數據；通過通道（channel）無縫連接 Kafka。

2） Apache Kafka

kafka 是一種高吞吐量的分布式發布訂閱消息系統，目標是提供一個發布訂閱解決方案，它可以處理消費者規模的網站中的所有動作流數據。

Kafka 具有如下特性：

提供消息的持久化，即使數以TB的消息存儲也能夠保持長時間的穩定性能。
令你高吞吐量，即使是非常普通的硬件，kafka也可以支持每秒數十萬的消息。
支持通過kafka服務器和消費機集群來分區消息。
支持Hadoop并行數據加載。

3） Apache Storm

Storm 能處理，在保證高可靠性的前提下，還可以讓處理進行得更加實時，也就是說，所有的信息都會被處理。Storm 同樣還具備容錯和分布計算這些特性，這就讓 Storm 可以擴展到不同的機器上進行大批量的數據處理。

Storm 具有如下特性：

簡單的編程模型。類似于MapReduce 降低了并行批處理復雜性，Storm 降低了進行實時處理的復雜性。
可以使用各種編程語言。你可以在Storm 之上使用各種編程語言，默認支持 Clojure、Java、Ruby 和Python。要增加對其他語言的支持，只需實現一個簡單的Storm通信協議即可。
水平擴展。計算是在多個線程、進程和服務器之間并行進行的。對于擴展，你只需要添加機器和改變對應的 Topology（拓撲）設置。
容錯性。Storm 保證每個消息至少能得到一次完整處理，任務失敗時，它會負責從消息源重試消息，會管理工作進程和節點的故障。
本地模式。Storm 有一個“本地模式”，可以在處理過程中完全模擬 Storm 集群。

方案優勢

使用流計算處理核心業務數據，包括：交易行情數據、業務日志等重要業務信息，不但能高效處理，還能保證數據的完整性和準確性。
能有效地解決了從 Flume 到 Kafka 實時數據優于單條過快，造成 stormspout 消費 kafka 速率跟不上。手段是通過進行多 tuple 結構優化，對多個 log 打包成一個 tuple 進行發射處理。
提高整個系統運行的可靠性和高可用性。數據處理經過模塊化之后，解決了用戶最擔心的假如當 Storm 掛掉了，數據采集和數據接入還是繼續在跑著，數據不會丟失， Storm 起來之后可以繼續進行流式計算。
在使用 IBM 產品處理核心業務的數據和信息的基礎上，擁抱開源產品，在滿足需求前提下進行技術創新，以追求較好的性價比。