GetInsight組件技術(shù)及功能(七):任務(wù)調(diào)度平臺(tái)
GetInsight是慧都自主研發(fā)、應(yīng)用最靈活的大數(shù)據(jù)平臺(tái)。能夠幫助您隨時(shí)找到您想要的數(shù)據(jù),使數(shù)據(jù)得到安全、穩(wěn)定和高效的管理與應(yīng)用。GetInsight是企業(yè)大數(shù)據(jù)解決方案的重要組成部分,除了提供完整的大數(shù)據(jù)功能組件,我們還提供組件自定義搭配,為企業(yè)選擇滿足方案需要的大數(shù)據(jù)功能組件,使您的大數(shù)據(jù)解決方案成本降到最低,從而高品質(zhì)的解決您的大數(shù)據(jù)需求問題。
了解什么是GetInsight,請(qǐng)點(diǎn)擊這里查看GetInsight的基礎(chǔ)介紹>>
本文主要跟大家介紹GetInsight的任務(wù)調(diào)度平臺(tái)。
任務(wù)調(diào)度平臺(tái)
任務(wù)調(diào)度平臺(tái)用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程,可以實(shí)現(xiàn)自動(dòng)調(diào)度預(yù)先設(shè)定的任務(wù)。支持調(diào)度各種類型任務(wù),包括linux command,shell腳本,hadoop任務(wù),spark任務(wù),hive任務(wù)等。并且提供可視化界面對(duì)任務(wù)的執(zhí)行情況進(jìn)行監(jiān)控。可視化界面可以查看正在執(zhí)行的任務(wù),任務(wù)的執(zhí)行日志,歷史執(zhí)行任務(wù)及日志等。而且具有權(quán)限管理,不同角色類型的用戶權(quán)限不一致。例如:普通用戶只能執(zhí)行自己創(chuàng)建的任務(wù),管理員用戶可以查看執(zhí)行所有用戶創(chuàng)建的任務(wù)。
GetInsight任務(wù)調(diào)度平臺(tái)的特性
- 提供界面監(jiān)控任務(wù)情況,而且界面友好。
- 通過簡單的設(shè)置即可創(chuàng)建任務(wù)的依賴。
- 創(chuàng)建好的任務(wù)上傳時(shí)自動(dòng)識(shí)別是否有閉環(huán),存在則給出提示,避免任務(wù)死鎖。
- 可查看已經(jīng)運(yùn)行、正在運(yùn)行、還未運(yùn)行等狀態(tài)的任務(wù)及其日志信息。
- 可支持多種任務(wù)類型,包括linux command,shell腳本,hadoop等。
- 具有用戶權(quán)限管理。
GetInsight任務(wù)調(diào)度平臺(tái)的界面和功能
訪問web界面
主要界面說明
登陸成功后進(jìn)入主界面
左邊導(dǎo)航欄的Personal為查看當(dāng)前用戶創(chuàng)建的project,Group為查看所屬用戶組用戶創(chuàng)建的project,All為查看所有用戶創(chuàng)建的project。當(dāng)然,查看project是一回事,查看project里面的內(nèi)容和執(zhí)行project就需要相應(yīng)的權(quán)限了。
右上角可以搜索和創(chuàng)建project。
上方的導(dǎo)航欄提供了各種選項(xiàng)查看相應(yīng)的任務(wù)狀態(tài)。包括創(chuàng)建好的調(diào)度計(jì)劃,正在執(zhí)行的任務(wù),執(zhí)行歷史等。
Scheduling界面
Executing界面
History界面
GetInsight任務(wù)調(diào)度平臺(tái)的應(yīng)用場(chǎng)景
任務(wù)調(diào)度平臺(tái)不僅可以用來定時(shí)執(zhí)行一些腳本,程序等。它還用于對(duì)一系列任務(wù)在指定時(shí)間按照指定順序運(yùn)行,并且任務(wù)具有前后依賴的場(chǎng)景,尤其是對(duì)比較多的任務(wù)進(jìn)行按計(jì)劃調(diào)度。比如一個(gè)ETL流程,包括數(shù)據(jù)的抽取,轉(zhuǎn)換,加載過程。這些過程是具有先后依賴的,所以任務(wù)調(diào)度平臺(tái)可以實(shí)現(xiàn)對(duì)ETL流程的順序調(diào)度執(zhí)行及監(jiān)控。
慧都工業(yè)大數(shù)據(jù)分析方案即將精益生產(chǎn)理論體系進(jìn)行了完美的融合和應(yīng)用,并對(duì)大數(shù)據(jù)總體架構(gòu)進(jìn)行了更細(xì)致明確的解讀,提供自主研發(fā)的大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)ETL、數(shù)據(jù)管理及存儲(chǔ)、數(shù)據(jù)建模。如下圖所示:
關(guān)于慧都大數(shù)據(jù)分析平臺(tái)
慧都大數(shù)據(jù)分析平臺(tái)「GetInsight®」升級(jí)發(fā)布,將基于企業(yè)管理駕駛艙、產(chǎn)品質(zhì)量分析及預(yù)測(cè)、設(shè)備分析及預(yù)測(cè)等大數(shù)據(jù)模型的構(gòu)建,助力企業(yè)由傳統(tǒng)運(yùn)營模式向數(shù)字化、智能化的新模式轉(zhuǎn)型升級(jí),抓住數(shù)據(jù)經(jīng)濟(jì)的發(fā)展勢(shì)頭,提供管理效能,精準(zhǔn)布局未來。了解更多,請(qǐng)聯(lián)系。
慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供商業(yè)智能大數(shù)據(jù)平臺(tái)搭建,免費(fèi)業(yè)務(wù)咨詢,定制開發(fā)等完整服務(wù),快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。
歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服,我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì),為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢!