是一款功能強(qiáng)大的數(shù)據(jù)實(shí)時(shí)復(fù)制軟件，不僅廣泛應(yīng)用于傳統(tǒng)ODS、數(shù)據(jù)倉庫、數(shù)據(jù)集市及BI系統(tǒng)的異構(gòu)平臺(tái)集成，同時(shí)也提供對(duì)Cloud的全面支持；對(duì)于各種 Cloud 應(yīng)用場(chǎng)景，CDC 不僅能提供低影響、近實(shí)時(shí)的海量數(shù)據(jù)復(fù)制，同時(shí)還可確保數(shù)據(jù)在傳輸過程中的完整性和安全性。

作為IBM重金打造的旗艦品牌，Bluemix 公有云平臺(tái)是一個(gè)基于 Cloud Foundry 開源項(xiàng)目的平臺(tái)即服務(wù)(PaaS)產(chǎn)品，它使得組織和開發(fā)人員能夠快速而又輕松地在云上創(chuàng)建、部署和管理應(yīng)用程序。Bluemix 為全球廣大用戶提供豐富的應(yīng)用和服務(wù)，這其中也包括云端的 IBM Hadoop產(chǎn)品：。

通過，可以輕松將本地?cái)?shù)據(jù)庫(On Premise)的數(shù)據(jù)實(shí)時(shí)同步到位于 Bluemix 云端的 ，從而解決在大數(shù)據(jù)分析中所面對(duì)的幾大問題：

• 海量數(shù)據(jù)的處理
• 數(shù)據(jù)來源的多樣性
• 數(shù)據(jù)分析的敏捷性
• 數(shù)據(jù)分析的持久性

接下來，我們將通過以下步驟來演示如何利用CDC搭建本地?cái)?shù)據(jù)庫(例如DB2)到云端的實(shí)時(shí)同步場(chǎng)景。

On Premise 系統(tǒng)配置

1. 配置并確認(rèn)當(dāng)前DB2數(shù)據(jù)庫正常運(yùn)行。

2. 安裝 for DB2(位于源端的CDC引擎，通過實(shí)時(shí)解析DB2日志來捕獲增量數(shù)據(jù)變化)。

3. 安裝InfoSphere CDC for DataStage(位于目標(biāo)端的CDC引擎，將源端的實(shí)時(shí)增量數(shù)據(jù)應(yīng)用于目標(biāo)端Hadoop平臺(tái)/HDFS文件系統(tǒng))。

4. 配置CDC服務(wù)器到Bluemix的內(nèi)部網(wǎng)絡(luò)連接(防火墻)。

5. 安裝CDC配置管理監(jiān)控平臺(tái)(Management Console 和 Access Server)。

創(chuàng)建 服務(wù)

1. 登錄Bluemix平臺(tái)(要求使用Bluemix ID)。

//console.ng.bluemix.net/

2. 點(diǎn)擊頁面上方的"目錄"，并在頁面左側(cè)的"服務(wù)"欄中勾選"數(shù)據(jù)與分析"，然后選擇"BigInsights for Apache Hadoop"。

3. 進(jìn)入""頁面，指定相關(guān)屬性并創(chuàng)建服務(wù)。

檢查 服務(wù)

1. 從Bluemix的用戶儀表盤中，點(diǎn)擊新創(chuàng)建的"BigInsights for Apache Hadoop"服務(wù)。

2. 檢查當(dāng)前服務(wù)的有效期，通常免費(fèi)使用一個(gè)月。

3. 檢查當(dāng)前服務(wù)的憑證及配置信息，例如用戶名、密碼。

啟動(dòng) 服務(wù)

1. 在BigInsights for Apache Hadoop頁面中點(diǎn)擊"Launch" 以啟動(dòng)服務(wù)。

2. 檢查BigInsights for Apache Hadoop的主機(jī)名，端口(8443)及URL前綴(/gateway/default/),以供CDC配置使用。

創(chuàng)建CDC預(yù)訂和配置表映射

1. 在CDC配置管理監(jiān)控平臺(tái)(Management Console)中，創(chuàng)建預(yù)訂并運(yùn)行表映射向?qū)А?

2. 選擇目標(biāo)端交付方法為 Apache Hadoop -> Web HDFS。

3. 選擇需要復(fù)制的DB2源表，并指定目標(biāo)端BigInsights的Web HDFS目錄路徑。

配置CDC預(yù)訂的Hadoop屬性

1. 右鍵點(diǎn)擊預(yù)訂，選擇Hadoop Properties。

 2. 可修改Batch Size值(生成落地文件的觸發(fā)條件)，并輸入通過Web HDFS連接BigInsights的連接信息。

3. 啟動(dòng)預(yù)訂，開始實(shí)時(shí)復(fù)制。

驗(yàn)證數(shù)據(jù)實(shí)時(shí)同步結(jié)果

1. 在本地DB2數(shù)據(jù)庫上運(yùn)行若干個(gè)交易，使得CDC所監(jiān)控的源表數(shù)據(jù)產(chǎn)生變更。

2. 在目標(biāo)端主頁上點(diǎn)擊BigSheets，便可監(jiān)控到數(shù)據(jù)從源端

DB2已實(shí)時(shí)同步過來，整個(gè)過程完全自動(dòng)化，低延遲且準(zhǔn)確無誤。

詳情請(qǐng)咨詢！

客服熱線：023-66090381