網(wǎng)絡(luò)質(zhì)量實時分析思路

通信網(wǎng)絡(luò)時時刻刻在產(chǎn)生著大量的事件，如信令、xDR等，產(chǎn)生速度可達幾十MB/s至幾十GB/s。要想實現(xiàn)大規(guī)模流數(shù)據(jù)的實時分析，傳統(tǒng)的IT系統(tǒng)已經(jīng)無法支撐，因此，我們需要引入流計算平臺，如。利用流計算平臺高性能、分布式、可擴展等特點，高速產(chǎn)生和流動網(wǎng)絡(luò)事件能及時地獲取有業(yè)務(wù)價值的信息。流計算平臺在網(wǎng)絡(luò)質(zhì)量實時分析中實現(xiàn)的關(guān)鍵業(yè)務(wù)包括：

• 全局實時KPI計算，如當前1分鐘和10分鐘內(nèi)的MSC切換失敗次數(shù)和比例。
• 局部KPI監(jiān)控與重點對象的關(guān)注，如VIP客戶通話失敗原因?qū)崟r匯總。
• 大規(guī)模數(shù)據(jù)預(yù)處理，以便后續(xù)加載到數(shù)據(jù)倉庫或HDFS再進行離線批量處理。

整體思路如下圖所示。

信令數(shù)據(jù)直接從網(wǎng)絡(luò)設(shè)備引入到流計算平臺；然后由Streams應(yīng)用程序按照業(yè)務(wù)規(guī)則，對信令數(shù)據(jù)進行實時的加工、計算、匯總等處理；最后將實時分析結(jié)果寫入至目標存儲，如數(shù)據(jù)庫、HDFS或?qū)崟r展現(xiàn)工具。

網(wǎng)絡(luò)質(zhì)量實時分析參考模型

無論采取哪種流計算技術(shù)，網(wǎng)絡(luò)事件的實時分析都可以分為三大部分：

• 數(shù)據(jù)實時注入或獲取
• 數(shù)據(jù)按業(yè)務(wù)規(guī)則實時分析
• 分析結(jié)果推送到目標端

下圖是網(wǎng)絡(luò)質(zhì)量實時分析的參考模型。為了方便結(jié)合業(yè)務(wù)場景進行描述，參考模型用多個紅線框劃分功能模塊。

1. 數(shù)據(jù)實時注入

網(wǎng)絡(luò)設(shè)備所產(chǎn)生的數(shù)據(jù)通過TCP／FTP／本地文件等方式實時注入到Streams。由于數(shù)據(jù)源可能提供多種不同的數(shù)據(jù)格式，如二進制碼流、或CSV格式的文本，Streams接收到數(shù)據(jù)之后先進行解析，以便后續(xù)的處理。

2. VIP客戶業(yè)務(wù)質(zhì)量實時分析

根據(jù)用戶靜態(tài)屬性（來源于數(shù)據(jù)庫或文件），過濾出高價值客戶，即VIP客戶。對于這類客戶的相關(guān)業(yè)務(wù)質(zhì)量實時分析，有助于及時發(fā)現(xiàn)他們在使用通信網(wǎng)絡(luò)中遇到的問題，以便及時處理VIP客戶的投訴與對他們進行定制化的客戶關(guān)懷。

3. 全局網(wǎng)絡(luò)質(zhì)量實時分析

利用所有網(wǎng)絡(luò)事件對全網(wǎng)的網(wǎng)絡(luò)質(zhì)量進行實時分析，包括各項KPI的按不同的時間粒度進行統(tǒng)計，如1分鐘和10分鐘粒度的MSC內(nèi)切換次數(shù)，通話失敗原因的匯總和排序等。

4. 實時分析結(jié)果入庫

將實時分析結(jié)果寫入數(shù)據(jù)庫，以便后續(xù)的查詢和展示。除了寫入數(shù)據(jù)庫的方式，Streams也支持將結(jié)果寫入文件、Kafka或TCP Socket等方式，亦可直接將結(jié)果推送給實時展示工具，如Excel Realtime Data。

5. 大規(guī)模數(shù)據(jù)預(yù)處理（實時ETL）

利用Streams的可定制業(yè)務(wù)邏輯及高性能處理能力的特點，實現(xiàn)網(wǎng)絡(luò)事件數(shù)據(jù)的實時ETL

6. 預(yù)處理后的大規(guī)模數(shù)據(jù)寫入HDFS

調(diào)研Streams提供的HDFS相關(guān)Toolkit，將經(jīng)過預(yù)處理的網(wǎng)絡(luò)事件數(shù)據(jù)寫入至HDFS，一般后續(xù)進行離線分析。

在網(wǎng)絡(luò)質(zhì)量實時分析中的價值

• 高性能：滿足大規(guī)模數(shù)據(jù)實時計算的要求。
• 高擴展性：分布式架構(gòu)極易擴展，滿足日益增長的業(yè)務(wù)和計算能力要求。
• 易實現(xiàn)：針對流計算而設(shè)計的開發(fā)語言，內(nèi)置大量的工具箱，結(jié)合基于圖形和拖拽的開發(fā)工具，極易實現(xiàn)流分析應(yīng)用。
• 完善的管理功能：基于Web的一體化管理和監(jiān)控工具。
• 成熟、穩(wěn)定、可靠：10多年的應(yīng)用歷程，業(yè)界最成熟、穩(wěn)定、可靠的流計算產(chǎn)品。

via:華南IBM大數(shù)據(jù)支持團隊

詳情請咨詢“”！

客服熱線：023-66090381