1.傳統(tǒng)分析/商業(yè)統(tǒng)計(jì)

Excel、SPSS、SAS 這三者對于研究人員而言并不陌生。

• Excel 作為電子表格軟件，適合簡單統(tǒng)計(jì)（分組/求和等）需求，由于其方便好用，功能也能滿足很多場景需要，所以實(shí)際成為研究人員最常用的軟件工具。其缺點(diǎn)在于功能單一，且可處理數(shù)據(jù)規(guī)模小（這一點(diǎn)讓很多研究人員尤為頭疼）。這兩年Excel在大數(shù)據(jù)方面（如地理可視化和網(wǎng)絡(luò)關(guān)系分析）上也作出了一些增強(qiáng)，但應(yīng)用能力有限。

SPSS（SPSS Statistics)和SAS作為商業(yè)統(tǒng)計(jì)軟件，提供研究常用的經(jīng)典統(tǒng)計(jì)分析（如回歸、方差、因子、多變量分析等）處理。

• SPSS 輕量、易于使用，但功能相對較少，適合常規(guī)基本統(tǒng)計(jì)分析
• SAS 功能豐富而強(qiáng)大（包括繪圖能力），且支持編程擴(kuò)展其分析能力，適合復(fù)雜與高要求的統(tǒng)計(jì)性分析。

上述三個軟件在面對大數(shù)據(jù)環(huán)境出現(xiàn)了各種不適，具體不再贅述。但這并不代表其沒有使用價(jià)值。如果使用傳統(tǒng)研究方法論分析大數(shù)據(jù)時(shí)，海量原始數(shù)據(jù)資源經(jīng)過前期處理（如降維和統(tǒng)計(jì)匯總等）得到的中間研究結(jié)果，就很適合使用它們進(jìn)行進(jìn)一步研究。

2.數(shù)據(jù)挖掘

數(shù)據(jù)挖掘作為大數(shù)據(jù)應(yīng)用的重要領(lǐng)域，在傳統(tǒng)統(tǒng)計(jì)分析基礎(chǔ)上，更強(qiáng)調(diào)提供機(jī)器學(xué)習(xí)的方法，關(guān)注高維空間下復(fù)雜數(shù)據(jù)關(guān)聯(lián)關(guān)系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身為Clementine）

SPSS Modeler 的統(tǒng)計(jì)功能相對有限, 主要是提供面向商業(yè)挖掘的機(jī)器學(xué)習(xí)算法（決策樹、神經(jīng)元網(wǎng)絡(luò)、分類、聚類和預(yù)測等）的實(shí)現(xiàn)。同時(shí)，其數(shù)據(jù)預(yù)處理和結(jié)果輔助分析方面也相當(dāng)方便，這一點(diǎn)尤其適合商業(yè)環(huán)境下的快速挖掘。不過就處理能力而言，實(shí)際感覺難以應(yīng)對億級以上的數(shù)據(jù)規(guī)模。

另一個商業(yè)軟件 Matlab 也能提供大量數(shù)據(jù)挖掘的算法，但其特性更關(guān)注科學(xué)與工程計(jì)算領(lǐng)域。而著名的開源數(shù)據(jù)挖掘軟件Weka，功能較少，且數(shù)據(jù)預(yù)處理和結(jié)果分析也比較麻煩，更適合學(xué)術(shù)界或有數(shù)據(jù)預(yù)處理能力的使用者。

1.通用大數(shù)據(jù)可視化分析

近兩年來出現(xiàn)了許多面向大數(shù)據(jù)、具備可視化能力的分析工具，在商業(yè)研究領(lǐng)域，TableAU無疑是卓越代表。

TableAU 的優(yōu)勢主要在于支持多種大數(shù)據(jù)源/格式，眾多的可視化圖表類型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場景。不過要注意，其并不能提供經(jīng)典統(tǒng)計(jì)和機(jī)器學(xué)習(xí)算法支持， 因此其可以替代Excel, 但不能代替統(tǒng)計(jì)和數(shù)據(jù)挖掘軟件。另外，就實(shí)際處理速度而言，感覺面對較大數(shù)據(jù)（實(shí)例超過3000萬記錄）時(shí)，并沒有官方介紹的那么迅速。

2.關(guān)系分析

關(guān)系分析是大數(shù)據(jù)環(huán)境下的一個新的分析熱點(diǎn)（比如信息傳播圖、社交關(guān)系網(wǎng)等），其本質(zhì)計(jì)算的是點(diǎn)之間的關(guān)聯(lián)關(guān)系。相關(guān)工具中，適合數(shù)據(jù)研究人員的是一些可視化的輕量桌面型工具，最常用的是Gephi。

Gephi 是免費(fèi)軟件，擅長解決圖網(wǎng)絡(luò)分析的很多需求，其插件眾多，功能強(qiáng)且易用。我們經(jīng)常看到的各種社交關(guān)系/傳播譜圖, 很多都是基于其力導(dǎo)向圖（Force directed graph）功能生成。但由于其由java編寫，限制了處理性能（感覺處理超過10萬節(jié)點(diǎn)/邊時(shí)常陷入假死），如分析百萬級節(jié)點(diǎn)（如微博熱點(diǎn)傳播路徑）關(guān)系時(shí)，需先做平滑和剪枝處理。 而要處理更大規(guī)模（如億級以上）的關(guān)系網(wǎng)絡(luò)（如社交網(wǎng)絡(luò)關(guān)系）數(shù)據(jù)，則需要專門的圖關(guān)系數(shù)據(jù)庫（如GraphLab/GraphX）來支撐了，其技術(shù)要求較高，此處不再介紹。

3.時(shí)空數(shù)據(jù)分析

當(dāng)前很多軟件（包括TableAU）都提供了時(shí)空數(shù)據(jù)的可視化分析功能。但就使用感受來看，其大都只適合較小規(guī)模（萬級）的可視化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千萬級以上的時(shí)空數(shù)據(jù)，比如新浪微博上億用戶發(fā)文的時(shí)間與地理分布（從省到街道多級粒度的探索）時(shí)，推薦使用 NanoCubes（//www.nanocubes.net/）。該開源軟件可在日常的辦公電腦上提供對億級時(shí)空數(shù)據(jù)的快速展示和多級實(shí)時(shí)鉆取探索分析。下圖是對芝加哥犯罪時(shí)間地點(diǎn)的分析，網(wǎng)站有更多的實(shí)時(shí)分析的演示例子。

4.文本/非結(jié)構(gòu)化分析

基于自然語言處理（NLP）的文本分析，在非結(jié)構(gòu)化內(nèi)容（如互聯(lián)網(wǎng)/社交媒體/電商評論）大數(shù)據(jù)的分析方面（甚至調(diào)研開放題結(jié)果分析）有重要用途。其應(yīng)用處理涉及分詞、特征抽取、情感分析、多主題模型等眾多內(nèi)容。

由于實(shí)現(xiàn)難度與領(lǐng)域差異，當(dāng)前市面上只有一些開源函數(shù)包或者云API（如BosonNLP）提供一些基礎(chǔ)處理功能，尚未看到適合商業(yè)研究分析中文文本的集成化工具軟件（如果有誰知道煩請通知我）。在這種情況下，各商業(yè)公司（如HCR）主要依靠內(nèi)部技術(shù)實(shí)力自主研發(fā)適合業(yè)務(wù)所需的分析功能。

前面介紹的各種大數(shù)據(jù)分析工具，可應(yīng)對的數(shù)據(jù)都在億級以下，也以結(jié)構(gòu)化數(shù)據(jù)為主。當(dāng)實(shí)際面臨以下要求： 億級以上/半實(shí)時(shí)性處理/非標(biāo)準(zhǔn)化復(fù)雜需求 ，通常就需要借助編程（甚至借助于Hadoop/Spark等分布式計(jì)算框架）來完成相關(guān)的分析。 如果能掌握相關(guān)的編程語言能力，那研究員的分析能力將如虎添翼。

當(dāng)前適合大數(shù)據(jù)處理的編程語言，包括：

• R語言——最適合統(tǒng)計(jì)研究背景的人員學(xué)習(xí)，具有豐富的統(tǒng)計(jì)分析功能庫以及可視化繪圖函數(shù)可以直接調(diào)用。通過Hadoop-R更可支持處理百億級別的數(shù)據(jù)。 相比SAS，其計(jì)算能力更強(qiáng)，可解決更復(fù)雜更大數(shù)據(jù)規(guī)模的問題。
• Python語言——最大的優(yōu)勢是在文本處理以及大數(shù)據(jù)量處理場景，且易于開發(fā)。在相關(guān)分析領(lǐng)域，Python代替R的勢頭越來越明顯。
• Java語言——通用性編程語言，能力最全面，擁有最多的開源大數(shù)據(jù)處理資源（統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、NLP等等）直接使用。也得到所有分布式計(jì)算框架（Hadoop/Spark）的支持。