轉帖|大數據新聞|編輯:況魚杰|2020-09-16 10:23:00.750|閱讀 379 次
概述:建立數據倉庫是一個解決企業(yè)數據問題應用的過程,是企業(yè)信息化發(fā)展到一定階段必不可少的一步,也是發(fā)展數據化管理的重要基礎。數倉的知識市面上的書籍和文章不少,但是實際實施依據行業(yè)不同,企業(yè)核心訴求不同,從技術到方法論各有不同。如何實施數倉項目,本文先以傳統(tǒng)行業(yè)的數倉切入,從整體上講下數據倉庫的實施方法論。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
建立數據倉庫是一個解決企業(yè)數據問題應用的過程,是企業(yè)信息化發(fā)展到一定階段必不可少的一步,也是發(fā)展數據化管理的重要基礎。數倉的知識市面上的書籍和文章不少,但是實際實施依據行業(yè)不同,企業(yè)核心訴求不同,從技術到方法論各有不同。如何實施數倉項目,本文先以傳統(tǒng)行業(yè)的數倉切入,從整體上講下數據倉庫的實施方法論。(點擊此處查看下文)
需求分析是數據倉庫項目最重要的一個環(huán)節(jié),數倉說到底還是服務于業(yè)務,支撐于業(yè)務,如果需求分析不準確,做了沒人用,上了不好用,會直接影響業(yè)務/客戶的使用,最終導致項目的失敗。為了避免最壞的情況,前期一定要重視需求的調研、挖掘和分析,并采用一些嚴謹科學的措施和方法去做需求分析。
在實際調研過程中分享幾個經驗:
一般情況下,業(yè)務方能夠提供的都是需求的整體框架部分或者是實際需求的一部分內容,不能預見未來需要增加的需求,這也注定了數倉項目是一個不斷循環(huán)、反饋,使系統(tǒng)不斷完善增長的過程。
不能規(guī)避風險但是可以減少風險,所以科學的調研尤為重要。以下是調研模板,當需求調研完成時,需要對采集結果進行分析、歸納、整理,最終形成完整的需求分析報告。
業(yè)務需求的實施目的就是真正理解企業(yè)決策者的戰(zhàn)略性目標。在理解建立商業(yè)智能系統(tǒng)目標的基礎上,建立有效的企業(yè)管理模式,制定出詳細的企業(yè)數據倉庫業(yè)務管理規(guī)范,設計出常用的ETL數據采集規(guī)范和工作流程,從而明確商業(yè)智能系統(tǒng)的實施范圍和目標。為了提高企業(yè)的分析決策能力,可以利用當下的局域網技術和互聯(lián)網技術實現企業(yè)對各種信息的查詢和分析,通過建立企業(yè)業(yè)務數據模型,分析商業(yè)智能系統(tǒng)的系統(tǒng)架構、數據源之間的差異、對數據質量的評估和各種信息的處理方法,有效地提高企業(yè)商業(yè)智能系統(tǒng)的分析和決策能力。
數據倉庫在邏輯上可以分成操作型數據庫、數據倉庫層、數據集市層、數據分析應用層和報表展示層,其架構如下圖所示:
ODS 可以有兩種形式:ODS 數據緩沖區(qū)和ODS統(tǒng)一信息視圖區(qū)。
ODS數據緩沖區(qū)是業(yè)務數據流動過程的第一個存儲區(qū),實現了數據倉庫從各個業(yè)務系統(tǒng)的數據源中將數據抽取出來,并且裝載到ODS數據緩沖區(qū)的這一過程,從而實現統(tǒng)一的全局的企業(yè)數據平臺,為以后的數據抽取、清洗、轉換過程打下堅實的基礎。對于數據的數據源可以采用增量的方式進行抽取,對于經常變化更新的數據一般采用全量的方式進抽取。ODS數據緩沖區(qū)具有實時性的特征,ODS系統(tǒng)將各個孤立的業(yè)務系統(tǒng)的生產運營數據集成起來,組成統(tǒng)一的、全局的企業(yè)數據交換平臺
ODS統(tǒng)一信息視圖區(qū)是指有選擇地集成各類業(yè)務源數據,對數據進行抽取、清洗、轉換操作,以數據主題域為數據集成的基礎,對數據進行分類和組織,使用戶能夠通過統(tǒng)一信心視圖區(qū)獲得跟某個主題域相關的實時性數據。各業(yè)務系統(tǒng)和ODS統(tǒng)一信息視圖區(qū)可以互相訪問,可以生成具有實時性的操作性報表和查詢某一主題的近期全部信息。
ODS 數據緩沖區(qū)主要為業(yè)務源數據抽取到數據倉庫中提供中間數據緩沖的功能,與ODS 統(tǒng)一信息視圖區(qū)最大的區(qū)別就是數據抽取、清洗、轉換、加載的轉換規(guī)則和數據存儲的方式不同。ODS統(tǒng)一信息視圖區(qū)是完全按照主題的方式進行數據存儲,向用戶提供快速的報表展示和數據實時查詢的功能。而ODS數據緩沖區(qū)的ETL規(guī)則一般只進行簡單的匯總、計算,或者從操作型數據庫中直接抽取而中間不進行任何轉化。ODS 統(tǒng)一信息視圖區(qū)的數據一般都是從ODS數據緩沖區(qū)中抽取過來的。
下一期我們將會繼續(xù)介紹數倉的建模、數據集市的建模、數據源分析和數據的獲取與整合以及數據應用和報表展現。您可以持續(xù)關注本教程,獲得更多有關大數據方面的知識。
關于慧都大數據分析平臺
慧都大數據分析平臺「GetInsight®」升級發(fā)布,將基于企業(yè)管理駕駛艙、產品質量分析及預測、設備分析及預測等大數據模型的構建,助力企業(yè)由傳統(tǒng)運營模式向數字化、智能化的新模式轉型升級,抓住數據經濟的發(fā)展勢頭,提供管理效能,精準布局未來。了解更多,請聯(lián)系。
慧都大數據專業(yè)團隊為企業(yè)提供商業(yè)智能大數據平臺搭建,免費業(yè)務咨詢,定制開發(fā)等完整服務,快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。
歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服,我們有專業(yè)的大數據團隊,為您提供免費大數據相關業(yè)務咨詢!
本站文章除注明轉載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn
文章轉載自: