IBM Change Data Capture簡(jiǎn)介

InfoSphere Change Data Capture（以下簡(jiǎn)稱 CDC）的前身是 DataMirror，2007 年由IBM收購(gòu)后正式更名為 CDC，并發(fā)布了收購(gòu)后的第一個(gè)版本 V6.3，現(xiàn)在最新的版本為 V11.3。

CDC是一款基于數(shù)據(jù)庫(kù)日志的產(chǎn)品，可以在跨平臺(tái)和異構(gòu)的數(shù)據(jù)庫(kù)環(huán)境中實(shí)現(xiàn)變化數(shù)據(jù)的實(shí)時(shí)復(fù)制，在國(guó)內(nèi)外的各個(gè)業(yè)務(wù)領(lǐng)域中有著廣泛的應(yīng)用。

CDC提供可保持事務(wù)完整性的復(fù)制，為客戶在數(shù)據(jù)遷移，數(shù)據(jù)整合，數(shù)據(jù)同步，動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)，以及實(shí)時(shí)BI分析等應(yīng)用中提供了出色的解決方案。

InfoSphere CDC 產(chǎn)品架構(gòu)

正如上圖所示，CDC 的關(guān)鍵組件主要的組成部分包括：

1. Access Server(AS)：用戶配置和監(jiān)控 CDC 引擎的安全管理工具，支持圖形化界面及命令行。當(dāng)用戶登錄 Management Console時(shí)，就會(huì)連接到 AS。如果在客戶端關(guān)閉 AS，并不會(huì)影響源服務(wù)器到目標(biāo)服務(wù)器的數(shù)據(jù)復(fù)制。
2. Management Console(MC)：CDC 的圖形化界面工具，允許用戶配置、監(jiān)控和管理在多個(gè)不同服務(wù)器上的數(shù)據(jù)復(fù)制，可以在客戶端上指定復(fù)制的參數(shù)，初始化刷新和鏡像復(fù)制。MC也允許用戶監(jiān)控復(fù)制操作、延遲、事件消息以及性能相關(guān)的統(tǒng)計(jì)數(shù)據(jù)。
3. 源端引擎：讀取源端數(shù)據(jù)庫(kù)的日志文件捕獲變更數(shù)據(jù)，經(jīng)過(guò)行列過(guò)濾，字符編碼轉(zhuǎn)換后由 TCP/IP 發(fā)送給目標(biāo)端。
4. 目標(biāo)端引擎：接收源端發(fā)送的變更數(shù)據(jù)，經(jīng)過(guò)數(shù)值轉(zhuǎn)換，字符編碼轉(zhuǎn)換，沖突檢測(cè)后將變更數(shù)據(jù)應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)。
5. Metadata：存儲(chǔ) CDC 實(shí)例的配置信息，包括數(shù)據(jù)庫(kù)連接信息，預(yù)定信息以及表的映射信息等，同時(shí)記錄當(dāng)前的復(fù)制進(jìn)行狀態(tài)。
6. 源和目標(biāo) Datastore（數(shù)據(jù)存儲(chǔ)）：存儲(chǔ)的是數(shù)據(jù)文件和數(shù)據(jù)復(fù)制需要的 InfoSphere CDC 實(shí)例信息。每個(gè)datastore代表了一個(gè)用戶要連接的數(shù)據(jù)庫(kù)，并存儲(chǔ)要復(fù)制的表。

多數(shù)的 CDC 引擎既可作為源端引擎捕獲變化數(shù)據(jù)又可作為目標(biāo)端引擎接收變化數(shù)據(jù)并將其應(yīng)用于指定的數(shù)據(jù)庫(kù)。

InfoSphere CDC 工作原理

CDC處理數(shù)據(jù)的流向圖：

1. CDC 通過(guò)日志讀取模塊（Log Reader）讀取源端數(shù)據(jù)庫(kù)中所有活動(dòng)表的變化日志，并判斷出哪些數(shù)據(jù)變更日志屬于CDC配置的預(yù)定中所涉及的源端表，并將這些與應(yīng)用有關(guān)的變更日志放在事務(wù)隊(duì)列（Transaction Queue）中
2. 日志讀取模塊讀取的日志包括 redo log，archive log，transaction log 等。由于尚未提交的事務(wù)也會(huì)被CDC日志讀取模塊讀取并放在事務(wù)隊(duì)列中，所以事務(wù)隊(duì)列中記錄了各個(gè)事務(wù)的進(jìn)行狀態(tài)。而日志解析模塊則負(fù)責(zé)過(guò)濾出事務(wù)隊(duì)列中已經(jīng)提交了的事務(wù)變更日志，并將其放入變更日志存儲(chǔ)（Staging Store）中。
3. 復(fù)制表的事務(wù)信息通過(guò) TCP/IP 傳送至目標(biāo)端，可通過(guò) MC 監(jiān)控復(fù)制的數(shù)據(jù)情況。
4. 目標(biāo)段將抽取過(guò)來(lái)的事務(wù)信息經(jīng)過(guò)必要的轉(zhuǎn)換重新組裝成 SQL 語(yǔ)句。
5. CDC將組裝好的 SQL 語(yǔ)句應(yīng)用于目標(biāo)數(shù)據(jù)庫(kù)，并更新bookmark信息
6. （bookmark 信息是為了保證數(shù)據(jù)的一致性，當(dāng)由于某種原因復(fù)制中斷后，在下次 CDC 重啟后，目標(biāo)端的 bookmark 信息首先被傳到源端，從而源端從最后一個(gè)成功應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)的日志開始復(fù)制），整個(gè)數(shù)據(jù)復(fù)制過(guò)程完成。
7. IBM Change Data Capture簡(jiǎn)介

8. 靈活的部署方案

   CDC可采用單向，雙向，并行，級(jí)聯(lián)，集中，分發(fā)等多種拓?fù)浣Y(jié)構(gòu)及其組合的部署方式進(jìn)行復(fù)制。

   

9. 提供大數(shù)據(jù)量，低延遲的數(shù)據(jù)復(fù)制

   捕獲實(shí)時(shí)變化數(shù)據(jù)，極大地縮短了數(shù)據(jù)集成窗口！

10. 基于日志，無(wú)需改變當(dāng)前IT架構(gòu)，對(duì)生產(chǎn)系統(tǒng)的影響最小

    僅讀取日志，不訪問(wèn)生產(chǎn)數(shù)據(jù)庫(kù)，壓力小，無(wú)風(fēng)險(xiǎn)！

11. 全面的異構(gòu)數(shù)據(jù)平臺(tái)支持

    從傳統(tǒng)數(shù)據(jù)庫(kù)到大數(shù)據(jù)平臺(tái)，提供最廣泛的支持。

    

    
    

12. 提供集配置、管理和監(jiān)控于一體的圖形化界面，管理方便，易于操作

InfoSphere CDC 經(jīng)典應(yīng)用場(chǎng)景

1. 實(shí)時(shí)運(yùn)營(yíng)報(bào)表

   某運(yùn)輸能力提供商要求其訂單信息、負(fù)載特征、合同和賬單數(shù)據(jù)與企業(yè)的其余部門整合，以便于分配司機(jī)負(fù)載和分析業(yè)務(wù)。將這些數(shù)據(jù)發(fā)布和整合到數(shù)據(jù)倉(cāng)庫(kù)和 Web應(yīng)用一共需要 30 分鐘。這意味著用戶不僅必須等待數(shù)據(jù)，還無(wú)法掌握實(shí)時(shí)準(zhǔn)確的業(yè)務(wù)情況。

   通過(guò)使用 InfoSphere CDC從源系統(tǒng)低影響、實(shí)時(shí)地抽取數(shù)據(jù)更改，InfoSphere DataStage 能夠及時(shí)接收數(shù)據(jù)更改流，并通過(guò) ETL 流程將之應(yīng)用到數(shù)據(jù)倉(cāng)庫(kù)以及整個(gè)企業(yè)的其他 Web應(yīng)用。這不僅可向數(shù)據(jù)倉(cāng)庫(kù)提供實(shí)時(shí)的更改，而且企業(yè)內(nèi)的多個(gè)點(diǎn)可以受益于和利用已更改的數(shù)據(jù)，對(duì)源系統(tǒng)的影響卻很小。

2. 最小化批處理時(shí)窗

   某消費(fèi)品制造商將它的制造數(shù)據(jù)和銷售數(shù)字存儲(chǔ)在兩個(gè)位于不同地區(qū)的單獨(dú) ERP系統(tǒng)上。每天通過(guò)夜間批處理作業(yè)將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中用于生成報(bào)表。但是隨著業(yè)務(wù)的增長(zhǎng)，數(shù)據(jù)量也隨之增長(zhǎng)，8 小時(shí)的夜間批處理時(shí)間已明顯不夠用。

   通過(guò)使用 InfoSphere CDC 實(shí)時(shí)地將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中，制造商就可隨時(shí)掌握準(zhǔn)確的最新信息，可以做出更好的業(yè)務(wù)決策，此外還可以將批處理時(shí)窗釋放出來(lái)用于其他任務(wù). 

3. 電子商務(wù)同步

   某商業(yè)抵押貸款提供商想使客戶能夠在線訪問(wèn)他們的貸款和投資狀態(tài)。它還想開發(fā)一些新的 Web 應(yīng)用，以便客戶申請(qǐng)抵押貸款、償還汽車貸款以及進(jìn)行基于Internet 的貸款。

    通過(guò)使用 InfoSphere CDC 實(shí)時(shí)地同步現(xiàn)有系統(tǒng)和新 Web 應(yīng)用之間的數(shù)據(jù)，客戶可以通過(guò) Internet 即時(shí)訪問(wèn)信息和服務(wù)。