2019年，Cloudera組織在機(jī)器學(xué)習(xí)應(yīng)用程序開發(fā)（Statistica）中投資了285億美元。但是，只有35％的組織表示已在生產(chǎn)中完全部署了分析模型（IDC）。

當(dāng)您將這兩個(gè)統(tǒng)計(jì)數(shù)據(jù)聯(lián)系起來時(shí)，很明顯，要部署和運(yùn)行模型，必須克服一系列挑戰(zhàn)。常見的障礙通常集中在：

• 模型性能的可見性差
• 在不同環(huán)境下無法正常運(yùn)行的代碼
• 基礎(chǔ)架構(gòu)中的IT差距
• 脫節(jié)的軟件和生產(chǎn)機(jī)器學(xué)習(xí)（MLOps）的方法
• 無法在云和本地基礎(chǔ)架構(gòu)之間移動(dòng)的工作流

以下各段將使您對(duì)這些挑戰(zhàn)以及如何克服這些挑戰(zhàn)有更深入的了解。

一塊玻璃可以防碎

無論您處于機(jī)器學(xué)習(xí)開發(fā)的哪個(gè)階段，如果使用點(diǎn)解決方案或孤立的工具集，都將為模型和業(yè)務(wù)創(chuàng)建漏洞。為了克服這個(gè)問題，您需要在一個(gè)整體的，統(tǒng)一的平臺(tái)上進(jìn)行操作，使您可以通過一個(gè)單一的窗格（從數(shù)據(jù)源到生產(chǎn)環(huán)境）查看操作。這將使您的團(tuán)隊(duì)更快地將ML模型從實(shí)驗(yàn)移至生產(chǎn)，并為您提供對(duì)數(shù)學(xué)和技術(shù)指標(biāo)性能的精簡(jiǎn)見解。

擁有集成的主干將幫助您可視化數(shù)據(jù)（無論是圖表，圖形還是其他可視化效果），從而使您可以評(píng)估進(jìn)度并快速進(jìn)行迭代。它還可以提供自動(dòng)化功能–如果缺少基準(zhǔn)或檢測(cè)到異常，則向您發(fā)送警報(bào)。

建立或破壞您的代碼

ML探索的早期步驟要求您整理原始數(shù)據(jù)源，并為進(jìn)行測(cè)試和建模做好準(zhǔn)備。當(dāng)您了解數(shù)據(jù)和問題時(shí)，代碼將快速發(fā)展。如果您的數(shù)據(jù)工程和科學(xué)團(tuán)隊(duì)以孤立的方式工作（使用不同的解決方案），您將不可避免地遇到一個(gè)共同的挑戰(zhàn)：您的生產(chǎn)系統(tǒng)將無法運(yùn)行ML模型。

重寫生產(chǎn)代碼會(huì)大大減慢您的進(jìn)度，從而浪費(fèi)時(shí)間和金錢。為了克服這一（極其常見的）挑戰(zhàn)，您應(yīng)該考慮從一開始就進(jìn)入生產(chǎn)和跨團(tuán)隊(duì)協(xié)作的樣子。即使距離這個(gè)階段還很遙遠(yuǎn)，也請(qǐng)考慮一個(gè)集成平臺(tái)將為您的數(shù)據(jù)科學(xué)家和工程師長(zhǎng)期提供的功能：在一個(gè)地方實(shí)時(shí)訪問數(shù)據(jù)和模型。

這一點(diǎn)與確保您利用ML操作（MLOps）標(biāo)準(zhǔn)緊密相關(guān)。盡早（在平臺(tái)的幫助下）做到這一點(diǎn)，以便您在團(tuán)隊(duì)和生產(chǎn)工作流中使用共同的語言。這樣可以確保您的數(shù)據(jù)，代碼和模型的結(jié)構(gòu)能夠在生產(chǎn)環(huán)境中正常運(yùn)行，無論它們是本地還是在云中。

影子IT差距：浪費(fèi)好精力的地方

無論我們是否在談?wù)摍C(jī)器學(xué)習(xí)，企業(yè)中的安全性都是至關(guān)重要的。如果沒有正確的端到端基礎(chǔ)架構(gòu)，對(duì)整個(gè)機(jī)器學(xué)習(xí)工作的挑戰(zhàn)（或威脅）可能變得孤立無援（影子IT）。如果您缺乏可見性并被迫對(duì)模型進(jìn)行編碼和重新編碼，則會(huì)造成差距。IT漏洞是不良行為者和無盡隧道的避風(fēng)港，在隧道中數(shù)據(jù)可能會(huì)丟失或混亂。您需要具有強(qiáng)大的端到端治理標(biāo)準(zhǔn)的統(tǒng)一平臺(tái)，以確保流經(jīng)生產(chǎn)環(huán)境的數(shù)據(jù)安全。

不要讓基礎(chǔ)架構(gòu)阻止您

部署的重點(diǎn)是釋放更大的業(yè)務(wù)價(jià)值-從可用的模型過渡到提供概率性預(yù)測(cè)和說明性見解的模型。

部署模型時(shí)，它們將占用大量數(shù)據(jù)和計(jì)算資源。您的基礎(chǔ)架構(gòu)必須能夠支持這些工作負(fù)載。一個(gè)普遍的挑戰(zhàn)是使數(shù)據(jù)和模型在內(nèi)部部署和云環(huán)境之間無縫地移動(dòng)，以進(jìn)行工作流，例如突發(fā)計(jì)算密集型工作，在企業(yè)內(nèi)或通過Web部署模型。當(dāng)您沒有靈活的環(huán)境時(shí)，幾乎不可能擴(kuò)展模型。

這里的關(guān)鍵是利用提供互操作性的平臺(tái)。這將創(chuàng)建可以連續(xù)監(jiān)視和控制的靈活工作流。設(shè)置好這些設(shè)置后，您還將有機(jī)會(huì)采用微服務(wù)，從而使您可以查看生產(chǎn)分析，從而幫助您快速迭代和擴(kuò)展。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺(tái)服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動(dòng)了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請(qǐng)聯(lián)系。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！