編者注：陳純，計(jì)算機(jī)應(yīng)用專家，浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授，中國(guó)工程院院士。是國(guó)家教委“跨世紀(jì)優(yōu)秀人才培養(yǎng)計(jì)劃”首批入選專家，第三屆中國(guó)青年科技獎(jiǎng)獲得者。目前是國(guó)家列車智能化工程技術(shù)研究中心主任，國(guó)務(wù)院學(xué)位委員會(huì)學(xué)科評(píng)議組成員。陳純教授長(zhǎng)期從事計(jì)算機(jī)應(yīng)用領(lǐng)域的前沿研究工作，在著名國(guó)際學(xué)術(shù)期刊和會(huì)議發(fā)表論文160多篇，曾獲國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)1項(xiàng)，國(guó)家科技進(jìn)步獎(jiǎng)二等獎(jiǎng)2項(xiàng)，國(guó)家科技進(jìn)步三等獎(jiǎng)1項(xiàng)，省部級(jí)科學(xué)技術(shù)一等獎(jiǎng)6項(xiàng)。

今天CNCC 2016在山西太原盛大開幕，開幕演講中，CCF會(huì)士、中國(guó)工程院院士、浙江大學(xué)陳純教授做了題為“流式、平臺(tái)及應(yīng)用”的報(bào)告，以下為報(bào)告內(nèi)容精編。

流式大數(shù)據(jù)

流式大數(shù)據(jù)從這個(gè)角度看，可以把大數(shù)據(jù)分成兩個(gè)：一個(gè)是批式大數(shù)據(jù)，另一個(gè)是流式大數(shù)據(jù)。

舉個(gè)例子來(lái)說(shuō)

我們把數(shù)據(jù)當(dāng)成水庫(kù)的話，水庫(kù)里面存在的水就是批式大數(shù)據(jù)，進(jìn)來(lái)的水是流式大數(shù)據(jù)。

10年前，從傳統(tǒng)的三架馬車開始到現(xiàn)在組成了60、70個(gè)相關(guān)龐大的生態(tài)圈。重點(diǎn)我們可以看到，從2012年開始，才關(guān)注了流式大數(shù)據(jù)，就是數(shù)據(jù)流的模式。在之前，所有的和系統(tǒng)就是批式大數(shù)據(jù)，從12年開始才專門針對(duì)流式大數(shù)據(jù)的組建。

由于的處理，應(yīng)用場(chǎng)景主要是兩類：

一類是互聯(lián)網(wǎng)
另一類是移動(dòng)互聯(lián)網(wǎng)

移動(dòng)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)的個(gè)性服務(wù)，不斷提升用戶體驗(yàn)對(duì)實(shí)時(shí)要求也是非常高的。一般要樣本性的相應(yīng)，而互聯(lián)網(wǎng)的傳感數(shù)據(jù)，通過(guò)智能分析來(lái)經(jīng)營(yíng)決策的。這以前大數(shù)據(jù)的分享，我們可以把它分成事后的風(fēng)險(xiǎn)和追溯，而更重要的應(yīng)用事中的分析、處理。

一種集群式、分布式的解決方案，但是其實(shí)時(shí)響應(yīng)比較慢。

另一種是組建流式大數(shù)據(jù)，即內(nèi)存計(jì)算，但它的實(shí)時(shí)相應(yīng)數(shù)據(jù)規(guī)模受限。

但是大數(shù)據(jù)的處理技術(shù)，主要有四個(gè)難題。它們分別是：

1、基于分布式內(nèi)存的運(yùn)行計(jì)算

2、可能很多臺(tái)計(jì)算機(jī)，每臺(tái)計(jì)算機(jī)多CPU，你一個(gè)任務(wù)下去，在計(jì)算機(jī)上同時(shí)進(jìn)行內(nèi)存的計(jì)算，它都是可以做到分布存儲(chǔ)。

3、海量歷史數(shù)據(jù)高性能的分析

4、當(dāng)你流進(jìn)水庫(kù)的實(shí)時(shí)，不僅僅是處理流的數(shù)據(jù)，而且還要把你存在數(shù)據(jù)庫(kù)的數(shù)據(jù)一起建立起來(lái)。因?yàn)?這個(gè)時(shí)間窗口，要重復(fù)計(jì)算問(wèn)題，并且有海量數(shù)據(jù)的復(fù)雜增量要計(jì)算。

數(shù)據(jù)流進(jìn)來(lái)后，怎么樣把流式數(shù)據(jù)跟歷史數(shù)據(jù)一起計(jì)算?

所謂大數(shù)據(jù)，流式是必須要算的，解決辦法就可以從增量基礎(chǔ)上入手。

要用模型解決實(shí)際應(yīng)用的問(wèn)題

張老師說(shuō)像統(tǒng)計(jì)的模型，基于規(guī)則的模型，這些模型能夠很好的結(jié)合。所以要把實(shí)施處理的分析模型分開，這樣就能針對(duì)不同的問(wèn)題進(jìn)行可以計(jì)算。

這四個(gè)就是最重要的四大問(wèn)題，我們現(xiàn)在的研究成果——流立方的實(shí)時(shí)計(jì)算，把數(shù)據(jù)時(shí)間窗口、計(jì)算指標(biāo)加上最核心的增量計(jì)算，也就是解決分布的存儲(chǔ)的性能，與基于內(nèi)存的計(jì)算更好的結(jié)合在一起。

流立方

現(xiàn)在我們來(lái)介紹下流式大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)，我們知道這個(gè)平臺(tái)不僅僅是流立方計(jì)算引擎。結(jié)合大數(shù)據(jù)，相當(dāng)于流立方的計(jì)算引擎要從60多個(gè)組件里面，抽取部分構(gòu)成這么一個(gè)平臺(tái)，同時(shí)還要加上分布存儲(chǔ)、數(shù)據(jù)庫(kù)，包括大數(shù)據(jù)的云處理平臺(tái)，還有其他地方來(lái)構(gòu)成這個(gè)平臺(tái)，實(shí)際上這個(gè)平臺(tái)是非常強(qiáng)大的系統(tǒng)。

下面介紹有應(yīng)用，這個(gè)是流立方應(yīng)用的框架。

<img alt="CNCC 2016 " 浙江大學(xué)陳純：何為流式大數(shù)據(jù)？"="" height="386" data-cke-saved-src="//www.raincent.com/uploadfile/2016/1021/20161021041755731.png" src="//www.raincent.com/uploadfile/2016/1021/20161021041755731.png" width="600" style="width: 660px; height: 424.541px;">

紅線里面都是以流式大數(shù)據(jù)存在的計(jì)算指標(biāo)、統(tǒng)計(jì)指標(biāo)，左邊是有一個(gè)分析處理模型，這個(gè)模型是可以基于數(shù)學(xué)模型指導(dǎo)。所以，當(dāng)你把一個(gè)要解決的問(wèn)題，比如說(shuō)：

下圍棋要學(xué)習(xí)，就可以把下棋的棋譜傳進(jìn)來(lái)。可以在這個(gè)平臺(tái)上進(jìn)行計(jì)算，這是外部應(yīng)用系統(tǒng)。

它可以應(yīng)用很多，流立方實(shí)時(shí)平臺(tái)上在原有基礎(chǔ)系統(tǒng)上，做一個(gè)并行系統(tǒng)實(shí)時(shí)檢測(cè)，通過(guò)專業(yè)知識(shí)、模型來(lái)實(shí)時(shí)分析。

下面具體來(lái)看幾個(gè)案例：

金融風(fēng)控反欺詐

現(xiàn)在電子支付上，除了螞蟻金服和微信支付是自己做的風(fēng)控以外，基本上所有的系統(tǒng)都是基于流立方來(lái)做的。

反爬蟲系統(tǒng)

應(yīng)用的前景非常的廣泛：金融、電信、交通、公安、海關(guān)、互聯(lián)網(wǎng)都可以應(yīng)用。

體會(huì)

流數(shù)據(jù)的實(shí)時(shí)處理

流式數(shù)據(jù)的實(shí)時(shí)分析，一定是有規(guī)則、模型的東西。復(fù)雜的分析計(jì)算，加上實(shí)時(shí)這兩個(gè)結(jié)合起來(lái)，如果能做的好，一定能夠加速大數(shù)據(jù)在各個(gè)行業(yè)的應(yīng)用。

大數(shù)據(jù)

我們現(xiàn)在大數(shù)據(jù)要么就是賣數(shù)據(jù)，對(duì)比數(shù)據(jù)事后不同的分析來(lái)追溯，這個(gè)非常重要。

但是我們現(xiàn)在應(yīng)用最重要，還是要結(jié)合不同的空間數(shù)據(jù)實(shí)施流數(shù)據(jù)分析。這個(gè)要有平臺(tái)才能把所有的數(shù)據(jù)(互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)還有互聯(lián)網(wǎng)+)共同體驗(yàn)、提升。

慧都控件網(wǎng)年終促銷第一波已開啟，全場(chǎng)6折起，豪禮搶不停>>>

截止時(shí)間：2016年10月30日

詳情請(qǐng)咨詢！

客服熱線：023-66090381