本項目的建設(shè)目標(biāo)主要包含以下三個維度

• 系統(tǒng)維度：立足券商機構(gòu)整體層面，搭建適應(yīng)大數(shù)據(jù)處理分析場景的大數(shù)據(jù)平臺，并保證足夠的開放性與可擴展性，以滿足急速增長的各類數(shù)據(jù)應(yīng)用需求，適時弱化 MPP 構(gòu)架一體機在數(shù)據(jù)服務(wù)體系中的作用；
• 數(shù)據(jù)維度：對接現(xiàn)有的公司各類生產(chǎn)數(shù)據(jù)源，完成 RDBMS 與 Hadoop 間的數(shù)據(jù)導(dǎo)入同步，實現(xiàn)數(shù)據(jù)的無縫流轉(zhuǎn)，并對外提供統(tǒng)一的數(shù)據(jù)接口；
• 業(yè)務(wù)維度：在系統(tǒng)與數(shù)據(jù)建設(shè)的基礎(chǔ)上，重點滿足歷史查詢、非結(jié)構(gòu)化數(shù)據(jù)處理、完善客戶畫像、準(zhǔn)實時數(shù)據(jù)處理等數(shù)據(jù)使用需求，并對大數(shù)據(jù)挖掘類應(yīng)用場景進行研究，以更好地支撐業(yè)務(wù)的開展。

項目背景

隨著客戶證券業(yè)務(wù)規(guī)模地不斷擴大及相關(guān)產(chǎn)品和服務(wù)種類地迅速增加，數(shù)據(jù)總量正在急速增長、數(shù)據(jù)類型也在不斷增多。同時，隨著互聯(lián)網(wǎng)技術(shù)不斷引入公司相關(guān)業(yè)務(wù)系統(tǒng)，線上服務(wù)占比大幅提升，已逐步成為公司主要的業(yè)務(wù)受理渠道，客戶觸點也隨之從有形轉(zhuǎn)為無形，數(shù)據(jù)成為了解業(yè)務(wù)和挖掘客戶需求的重要依據(jù)。

明略數(shù)據(jù)幫助國內(nèi)大型券商機構(gòu)建設(shè)企業(yè)級大數(shù)據(jù)平臺是企業(yè)科技發(fā)展規(guī)劃中的重點任務(wù)，通過全面建設(shè)大數(shù)據(jù)及流平臺，不斷完善數(shù)據(jù)架構(gòu)體系，發(fā)揮協(xié)同優(yōu)勢，為智能化服務(wù)、數(shù)據(jù)化運營、優(yōu)化數(shù)據(jù)管理提供基礎(chǔ)。

建設(shè)企業(yè)級大數(shù)據(jù)平臺，可以支持集團非結(jié)構(gòu)化數(shù)據(jù)的存儲及分析挖掘，擴展客戶分析，風(fēng)險挖掘數(shù)據(jù)源 , 同時，能夠支持業(yè)務(wù)系統(tǒng)流數(shù)據(jù)的實時分流，為業(yè)務(wù)準(zhǔn)實時監(jiān)控和風(fēng)控提供支持。

項目歷程

大數(shù)據(jù)平臺于 2017 年年中正式啟動，通過多方的共同努力，計劃于同年年底正式投入試運行。

以下是對項目實施歷程的回顧，以及每個里程碑式意義的階段介紹。

項目歷程

大數(shù)據(jù)平臺建設(shè)是一個工程，是一個過程。大數(shù)據(jù)平臺建設(shè)涵蓋內(nèi)容豐富，實施周期緊湊，在半年的時間里，涉及了數(shù)倉多個源系統(tǒng)的數(shù)據(jù)遷移、10 多個數(shù)據(jù)源的接入，數(shù)百個畫像標(biāo)簽的開發(fā)、1 套實時全景業(yè)務(wù)展示、1 個模型應(yīng)用驗證、1套畫像功能的部署。下面就項目過程的重點階段進行總結(jié)。

大數(shù)據(jù)平臺建設(shè)

利用大數(shù)據(jù)的流式處理技術(shù)，完成 Cloudera 的 CDH 大數(shù)據(jù)平臺搭建，提供HDFS，HIVE，HBase，Flume，Impala，Kafka，Kudu，Oozie，Solr，Spark，YARN，Zookeeper 等服務(wù)組件，實現(xiàn)業(yè)務(wù)數(shù)據(jù)的實時接入與計算，并采用豐富的圖表將各指標(biāo)數(shù)據(jù)進行可視化展示。

客戶畫像建設(shè)

用戶畫像可通過對海量低價值密度用戶數(shù)據(jù)的深入加工，得到客戶金融特征的一組標(biāo)簽，在業(yè)務(wù)運營中能夠有助于更加高效地理解客戶、研究客戶需求、分析客戶潛在意圖，能夠?qū)?shù)據(jù)驅(qū)動的思想引入到業(yè)務(wù)運營流程中。此次大數(shù)據(jù)平臺搭建，共完成了近10大標(biāo)簽維度，數(shù)百個標(biāo)簽的開發(fā)，并提供了便捷的標(biāo)簽管理功能、可篩選功能等，并與CRM客戶對接，可提供標(biāo)簽數(shù)據(jù)服務(wù)，幫助營銷和銷售人員定位目標(biāo)客戶，了解客戶潛在需求，開發(fā)需求產(chǎn)品以及向客戶精準(zhǔn)營銷。

全景業(yè)務(wù)展示建設(shè)

大數(shù)據(jù)平臺全景業(yè)務(wù)展示應(yīng)用實現(xiàn) App 活躍客戶，App 裝機，開戶信息，市占率，等業(yè)務(wù)運營指標(biāo)的實時展示功能，該版本的上線業(yè)務(wù)價值:通過大數(shù)據(jù)流式處理技術(shù)，將業(yè)務(wù)指標(biāo)的洞察從 T + 1 提升到實時洞察，快速洞悉業(yè)務(wù)。

指標(biāo)計算結(jié)果的處理考慮到業(yè)務(wù)對實時性的高要求，采用了構(gòu)建在 Spark 上的實時計算框架 Spark Streaming 進行業(yè)務(wù)處理，滿足實現(xiàn)高吞吐量、高實時性及高并發(fā)性的需求，對業(yè)務(wù)數(shù)據(jù)進行實時指標(biāo)計算。數(shù)據(jù)經(jīng)過計算后存入 HBase，使用內(nèi)存數(shù)據(jù)庫 Redis 來緩存計算模塊用到的配置信息和一些高頻使用的中間變量，以提高系統(tǒng)計算效率。計算完的結(jié)果數(shù)據(jù)通過 Kafka 下發(fā)，在全景業(yè)務(wù)展示區(qū)進行實時數(shù)據(jù)的前端頁面展示。

對于存儲在 HBase 中的指標(biāo)數(shù)據(jù)結(jié)果，會通過 Oozie 編寫 WorkFlow 的方式，每日定時跑批將數(shù)據(jù)備份到 Hive 中，方便后續(xù)的數(shù)據(jù)查詢治理。

全景業(yè)務(wù)展示系統(tǒng)很好的解決了核心業(yè)務(wù)指標(biāo)及客戶行為的實時洞察與分析，將數(shù)據(jù)時效性提高到秒級，并提供了數(shù)十種數(shù)據(jù)展現(xiàn)形式，實現(xiàn)了數(shù)據(jù)多維展示及趨勢分析，為宏觀決策和快速業(yè)務(wù)響應(yīng)提供了良好的支撐。客戶畫像、關(guān)聯(lián)賬戶分析、輿情分析、文本檢索。

其他功能建設(shè)

此次大數(shù)據(jù)平臺的建立，還包括搭建了爬蟲管理平臺、自然語言處理功能、數(shù)據(jù)挖掘作業(yè)及演示，以及提供包括 CRM 在內(nèi)的多個應(yīng)用的標(biāo)簽數(shù)據(jù)服務(wù)。

項目成效

明略數(shù)據(jù)為客戶建立大數(shù)據(jù)平臺，整個企業(yè)的 IT 規(guī)劃豐富了既有數(shù)據(jù)平臺的多樣性與可擴展性。滿足了目前數(shù)據(jù)時代下，對于日益豐富的數(shù)據(jù)種類，快速增長的數(shù)據(jù)數(shù)量的數(shù)據(jù)平臺需求，并且大數(shù)據(jù)平臺提供了面對海量數(shù)據(jù)的挖掘建模功能，為公司的金融創(chuàng)新提供了數(shù)據(jù)和技術(shù)保障。大數(shù)據(jù)平臺中存儲了各個業(yè)務(wù)系統(tǒng)的核心數(shù)據(jù)，并形成了信息統(tǒng)一，豐富的歷史數(shù)據(jù)存儲為企業(yè)保存了無形數(shù)據(jù)資產(chǎn)。先進的平臺架構(gòu)、可線性拓展硬件資源使大數(shù)據(jù)平臺能夠成為一個高效的運算平臺，為企業(yè)創(chuàng)造更多的價值。

精準(zhǔn)營銷

通過數(shù)百個維度對客戶進行全方位洞察。實時對日志數(shù)據(jù)進行采集、分析和標(biāo)簽化。可以對千萬級客戶進行秒級識別、需求感知乃至預(yù)判，同時采用場景化智能引擎，精準(zhǔn)投放資訊、產(chǎn)品和服務(wù)，瞬時達成對客戶的有效響應(yīng)，大幅提升服務(wù)的覆蓋面及專業(yè)化程度;

風(fēng)險識別

對全量客戶進行關(guān)聯(lián)關(guān)系挖掘并建立知識圖譜，可以有效的對關(guān)聯(lián)性風(fēng)險進行識別，對風(fēng)險的傳導(dǎo)進行判斷;

數(shù)據(jù)服務(wù)

提升了數(shù)據(jù)海量存儲技術(shù)水平，通過明確“統(tǒng)一存儲、統(tǒng)一使用”的理念，不斷豐富企業(yè)級的邏輯數(shù)據(jù)模型，實現(xiàn)跨業(yè)務(wù)條線的數(shù)據(jù)集中采集、分析和應(yīng)用，從而可支持海量數(shù)據(jù)處理、復(fù)雜的信息檢索以及在線歷史查詢，支持公司決策分析能力持續(xù)提升。

公司介紹

明略公司

明略數(shù)據(jù)是支持分析決策的行業(yè)人工智能解決方案提供商。自 2014 年成立以來，明略數(shù)據(jù)為公共安全、金融、工業(yè)等領(lǐng)域政府機構(gòu)和企業(yè)構(gòu)建行業(yè)知識圖譜，以“垂直行業(yè)化 +人機交互重大變革”實現(xiàn)行業(yè)人工智能落地，助推從個體賦能到全局智能的產(chǎn)業(yè)轉(zhuǎn)型升級。

Cloudera

Cloudera成立于2008年，由硅谷頂尖企業(yè)的優(yōu)秀人士創(chuàng)立，其中包括Google，Yahoo!，Oracle和Facebook。至今，Cloudera在全球擁有超過1600名員工。Cloudera于2014年進入中國市場，總部位于上海，在北上廣深均有分部。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！