在當(dāng)今的互聯(lián)世界中，用戶和設(shè)備每天共同創(chuàng)建超過2.5兆字節(jié)的數(shù)據(jù)！訪問正確的數(shù)據(jù)和分析工具可以極大地增強(qiáng)決策能力。這是機(jī)器學(xué)習(xí)可以通過實(shí)時(shí)處理成千上萬個(gè)數(shù)據(jù)點(diǎn)而無需人工干預(yù)來生成可操作的智能的幫助。因此，毫無疑問，大數(shù)據(jù)是當(dāng)今IT領(lǐng)域新興的破壞性技術(shù)。但是，像其他任何新技術(shù)一樣，大數(shù)據(jù)也面臨著一系列挑戰(zhàn)，尤其是來自其潛力和功能的。根據(jù)《 NewVantage Partners大數(shù)據(jù)高管調(diào)查2017》，接受調(diào)查的《財(cái)富》 1000強(qiáng)企業(yè)中有95％的企業(yè)領(lǐng)導(dǎo)人表示，這些企業(yè)已經(jīng)采取了最近五年的大數(shù)據(jù)項(xiàng)目。但是，不到一半（48.4％）的受訪者表示他們的大數(shù)據(jù)計(jì)劃取得了可衡量的成果。因此，讓我們深入探討該領(lǐng)域面臨的一些常見挑戰(zhàn)。

跨不同數(shù)據(jù)源的同步

典型的大數(shù)據(jù)處理包括提取，轉(zhuǎn)換和加載方法以進(jìn)行數(shù)據(jù)集成。在這里，大部分?jǐn)?shù)據(jù)被帶到暫存區(qū)域并在處理數(shù)據(jù)集以準(zhǔn)備加載到目標(biāo)系統(tǒng)中時(shí)進(jìn)行同步。但是，隨著始發(fā)點(diǎn)數(shù)量的增加和數(shù)據(jù)生成和傳輸?shù)乃俣仍黾?。這給整合和同步數(shù)據(jù)接觸點(diǎn)提出了巨大的挑戰(zhàn)，尤其是在它們之間相互隔離和多樣化的情況下。盡管一些供應(yīng)商目前正在提供旨在簡化該過程的各種ETL和數(shù)據(jù)集成工具，但許多企業(yè)表示，他們尚未解決數(shù)據(jù)集成問題。

處理大量數(shù)據(jù)

數(shù)據(jù)爆炸式增長是真實(shí)的。如今，數(shù)據(jù)已經(jīng)超出了可以存儲(chǔ)，計(jì)算和檢索的數(shù)量。雖然引入新的處理和存儲(chǔ)容量可能不是問題，但管理卻是一個(gè)問題。這是因?yàn)楣颈仨氀芯恳圆惶珡?fù)雜的方式進(jìn)行擴(kuò)展的可能性，并且還必須確保系統(tǒng)的性能不會(huì)下降并且擴(kuò)展不會(huì)超出預(yù)算。最好的解決方案之一是選擇創(chuàng)建結(jié)合NoSQL數(shù)據(jù)庫的混合關(guān)系數(shù)據(jù)庫。

隱私權(quán)與安全性

這是許多行業(yè)專家日益關(guān)注的問題之一。這一挑戰(zhàn)包括敏感，概念，技術(shù)以及法律意義。大數(shù)據(jù)技術(shù)確實(shí)在發(fā)展，但是由于希望在應(yīng)用程序級別授予安全性，因此大數(shù)據(jù)技術(shù)仍然被忽略。另外，隨著業(yè)務(wù)的增長，由于同時(shí)生成大量數(shù)據(jù)，一些企業(yè)無法維護(hù)定期檢查。此外，在收集數(shù)據(jù)方面，隱私法從一個(gè)政治地理區(qū)域到另一個(gè)政治地理區(qū)域都不同。同樣，可以根據(jù)數(shù)據(jù)類型和數(shù)量來不同地應(yīng)用它們。但是無論如何，一次數(shù)據(jù)泄露都可能使公司及其客戶面臨身份盜用，責(zé)任和競爭性信息丟失的風(fēng)險(xiǎn)，因此安全性是一項(xiàng)重大挑戰(zhàn)，需要認(rèn)真對待。

大數(shù)據(jù)處理成本

從采用階段到產(chǎn)品發(fā)布，大數(shù)據(jù)管理都需要巨額支出。隨之而來的是，即使所需的框架是開源的，開發(fā)，設(shè)置，配置和維護(hù)新軟件也要付出額外的成本。對于基于云的平臺(tái)，組織在雇用新員工（開發(fā)人員和管理員），云服務(wù)，開發(fā)方面也需要花費(fèi)大量資金，并且還要承擔(dān)與開發(fā)，設(shè)置和維護(hù)相關(guān)的成本。維護(hù)所需的框架。這就是為什么必須優(yōu)先考慮根據(jù)業(yè)務(wù)需求進(jìn)行計(jì)劃并制定戰(zhàn)略以允許順利增加額外支出的原因。另一種解決方案是建立數(shù)據(jù)湖-這些湖可以為當(dāng)前不需要分析的數(shù)據(jù)提供廉價(jià)的存儲(chǔ)機(jī)會(huì)。

招聘和保留大數(shù)據(jù)人才

毫無疑問，大數(shù)據(jù)中真正熟練和經(jīng)驗(yàn)豐富的人員的嚴(yán)重短缺是最大的問題。盡管每年都有數(shù)據(jù)科學(xué)家，數(shù)據(jù)挖掘者，數(shù)據(jù)分析師或大數(shù)據(jù)專家畢業(yè)；他們中的大多數(shù)人要么發(fā)現(xiàn)自己偏離了所選擇的職業(yè)，要么最終給出了無法解決所考慮問題的見解。當(dāng)分配給提取有意義且有價(jià)值的數(shù)據(jù)時(shí)，池中剩余的大部分將毫無用處。因此，為了解決這種情況，大多數(shù)組織都在轉(zhuǎn)向自動(dòng)化分析解決方案，該解決方案利用機(jī)器學(xué)習(xí)，人工智能和自動(dòng)化功能，通過最少的手動(dòng)編碼即可從數(shù)據(jù)中提取含義。

這些是在金喜正規(guī)買球中采用大數(shù)據(jù)時(shí)面臨的主要挑戰(zhàn)。還有幾個(gè)面臨著日常挑戰(zhàn)的學(xué)科。其中包括數(shù)據(jù)治理，組織抵制，數(shù)據(jù)模型過時(shí)或不足，數(shù)據(jù)質(zhì)量差和偏差偏大。

關(guān)于慧都大數(shù)據(jù)分析平臺(tái)

慧都大數(shù)據(jù)分析平臺(tái)「GetInsight®」升級發(fā)布，將基于企業(yè)管理駕駛艙、產(chǎn)品質(zhì)量分析及預(yù)測、設(shè)備分析及預(yù)測等大數(shù)據(jù)模型的構(gòu)建，助力企業(yè)由傳統(tǒng)運(yùn)營模式向數(shù)字化、智能化的新模式轉(zhuǎn)型升級，抓住數(shù)據(jù)經(jīng)濟(jì)的發(fā)展勢頭，提供管理效能，精準(zhǔn)布局未來。了解更多，請聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供商業(yè)智能大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！