Google BigQuery是一個(gè)具有成本效益、高度可擴(kuò)展的無(wú)服務(wù)器數(shù)據(jù)倉(cāng)庫(kù)，專(zhuān)為業(yè)務(wù)敏捷性而設(shè)計(jì)。該平臺(tái)管理所有的資源，自動(dòng)擴(kuò)展并高度可用。因此，倉(cāng)庫(kù)管理員不必花時(shí)間做典型的實(shí)施決策，如CPU大小或最大存儲(chǔ)分配。

Google BigQuery支持兩種不同的SQL方言。

• 標(biāo)準(zhǔn)SQL：標(biāo)準(zhǔn)SQL符合SQL 2011標(biāo)準(zhǔn)，是查詢(xún)數(shù)據(jù)的首選方言。
• 傳統(tǒng)SQL：BigQuery的第一個(gè)版本就支持這種方言。

為什么用 Qlik 自動(dòng)化 Google BigQuery？

• 改進(jìn)初始數(shù)據(jù)加載
• 減少人工SQL編碼倉(cāng)庫(kù)管理
• 自動(dòng)更新數(shù)據(jù)倉(cāng)庫(kù)
• 減少為下游分析準(zhǔn)備和提供數(shù)據(jù)所需的時(shí)間

事實(shí)上，我們可以通過(guò)Qlik Data Integration (QDI)平臺(tái)實(shí)現(xiàn)這些領(lǐng)域和更多領(lǐng)域的自動(dòng)化。最新發(fā)布的QDI解決方案針對(duì)Google BigQuery進(jìn)行了優(yōu)化，并將BigQuery操作的許多方面自動(dòng)化。例如，可以使用Qlik Replicate進(jìn)行近乎實(shí)時(shí)的變化數(shù)據(jù)捕獲（CDC），使用Qlik Compose for Data Warehouses來(lái)構(gòu)建內(nèi)部數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)和提供數(shù)據(jù)集。

適用于 Google BigQuery 的 Qlik 數(shù)據(jù)集成

以下段落介紹了專(zhuān)門(mén)為數(shù)據(jù)倉(cāng)庫(kù)自動(dòng)化而創(chuàng)建和優(yōu)化的功能。這些特點(diǎn)如下：

• 數(shù)據(jù)倉(cāng)庫(kù)模型生成
• 自動(dòng)生成映射
• 數(shù)據(jù)倉(cāng)庫(kù)ETL生成
• 數(shù)據(jù)市場(chǎng)ETL生成
• 工作流生成和協(xié)調(diào)

數(shù)據(jù)倉(cāng)庫(kù)模型的生成

Qlik Compose for Data Warehouses通過(guò)連接到源數(shù)據(jù)，并對(duì)元數(shù)據(jù)進(jìn)行內(nèi)省，以產(chǎn)生符合第三種正常形式（3NF）/Data Vault方法論的模型，使得從源數(shù)據(jù)生成邏輯模型變得非常容易。Qlik還提供了在邏輯模型中分配Type1/Type2歷史屬性的支持，改善了BigQuery數(shù)據(jù)集表的數(shù)據(jù)加載過(guò)程。

自動(dòng)生成映射
Qlik Compose for Data Warehouses將創(chuàng)建BigQuery數(shù)據(jù)集表，并為完整和CDC ETL集生成映射。在ETL集中，Compose將自動(dòng)生成BigQuery數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集表的登陸區(qū)域列和暫存列之間的表映射。最終，這減少了開(kāi)發(fā)生命周期的時(shí)間。

數(shù)據(jù)倉(cāng)庫(kù)ETL生成

Qlik會(huì)自動(dòng)生成和協(xié)調(diào)在BigQuery中執(zhí)行ETL過(guò)程所需的SQL語(yǔ)法，以完成數(shù)據(jù)倉(cāng)庫(kù)中表的全部加載。Qlik還能自動(dòng)生成和協(xié)調(diào)將CDC數(shù)據(jù)加載到BigQuery數(shù)據(jù)集中所需的SQL語(yǔ)法。

數(shù)據(jù)市場(chǎng)ETL生成

Qlik提供了一個(gè)數(shù)據(jù)向?qū)В梢岳肂igQuery數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集自動(dòng)創(chuàng)建一個(gè)事務(wù)性數(shù)據(jù)集。Qlik的自動(dòng)化功能可以刷新BigQuery數(shù)據(jù)集市中的數(shù)據(jù)，而無(wú)需復(fù)雜的手動(dòng)轉(zhuǎn)換或腳本。

工作流生成和協(xié)調(diào)

你也可以使用Qlik生成一個(gè)完整的和CDC工作流，任務(wù)是加載BigQuery數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市表。加載CDC數(shù)據(jù)的工作流可以通過(guò)Qlik或從第三方調(diào)度工具進(jìn)行調(diào)度。

Google BigQuery 自動(dòng)化的六個(gè)步驟

只需要六個(gè)步驟，就可以用Qlik自動(dòng)完成Google Big Query，具體步驟如下：

• 步驟1：自動(dòng)化數(shù)據(jù)攝取和更新

配置Qlik Replicate任務(wù)，使用Google BigQuery作為端點(diǎn)。Qlik Replicate將在BigQuery中創(chuàng)建來(lái)自幾乎任何數(shù)據(jù)源的數(shù)據(jù)集，無(wú)論是在內(nèi)部還是在云端。一旦Qlik Replicate完成全部數(shù)據(jù)加載，任務(wù)就會(huì)過(guò)渡到CDC模式，以近乎實(shí)時(shí)的方式復(fù)制源數(shù)據(jù)變化。

• 步驟2：Qlik Compose Source和數(shù)據(jù)倉(cāng)庫(kù)配置

配置一個(gè)Qlik Compose for Data Warehouses項(xiàng)目登陸和數(shù)據(jù)倉(cāng)庫(kù)連接。數(shù)據(jù)倉(cāng)庫(kù)連接將提供目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集的詳細(xì)信息。登陸連接指定了BigQuery數(shù)據(jù)集，該數(shù)據(jù)集將用于數(shù)據(jù)模型內(nèi)的集成。

• 步驟3：自動(dòng)生成倉(cāng)庫(kù)數(shù)據(jù)模型

模型面板用于智能發(fā)現(xiàn)邏輯和物理數(shù)據(jù)倉(cāng)庫(kù)模型的表元數(shù)據(jù)。管理模型控制哪些屬性變化和歷史類(lèi)型可以應(yīng)用到數(shù)據(jù)倉(cāng)庫(kù)模型。

• 步驟4：生成數(shù)據(jù)倉(cāng)庫(kù)自動(dòng)化指令

數(shù)據(jù)倉(cāng)庫(kù)面板選擇將在數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集中創(chuàng)建為Google BigQuery表的表。將創(chuàng)建表映射，以管理BigQuery表中的登陸列和暫存列之間的關(guān)系。一旦完成，ETL過(guò)程代碼就會(huì)生成并準(zhǔn)備在BigQuery上執(zhí)行。

• 步驟5：創(chuàng)建交易數(shù)據(jù)集市

數(shù)據(jù)集市面板提供了一個(gè) "新星型模式 "向?qū)?lái)創(chuàng)建事務(wù)星型模式。該向?qū)紫纫竽銖臄?shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集中選擇一個(gè)事實(shí)表。然后選擇所選事實(shí)表的父維表。您還選擇一個(gè)屬性作為模式的事務(wù)日期。一旦模式向?qū)瓿桑蜁?huì)生成并執(zhí)行BigQuery語(yǔ)法來(lái)加載創(chuàng)建和加載數(shù)據(jù)倉(cāng)庫(kù)表。

• 步驟6：編排倉(cāng)庫(kù)工作流程

當(dāng)設(shè)置了數(shù)據(jù)倉(cāng)庫(kù)CDC ETL后，在Qlik Compose監(jiān)控界面中，一個(gè)任務(wù)被創(chuàng)建并添加到默認(rèn)的CDC工作流中。一個(gè)數(shù)據(jù)集市任務(wù)也被添加到默認(rèn)的CDC工作流中。

結(jié)論

Google BigQuery是市場(chǎng)上領(lǐng)先的云數(shù)據(jù)倉(cāng)庫(kù)，在操作大型數(shù)據(jù)集進(jìn)行分析工作負(fù)載時(shí)，可以提供卓越的性能。雖然BigQuery提供了幾乎不需要?jiǎng)邮值墓芾恚?dāng)與Google平臺(tái)一起使用時(shí)，Qlik的數(shù)據(jù)倉(cāng)庫(kù)自動(dòng)化解決方案將為您節(jié)省大量的開(kāi)發(fā)時(shí)間。請(qǐng)下載Qlik云端試用版體驗(yàn)！聯(lián)系在線客服，還可請(qǐng)求獲得Qlik的Domo演示。