原創|行業資訊|編輯:陳俊吉|2016-09-18 10:26:13.000|閱讀 1023 次
概述: IBM InfoSphere DataStage Operations Console 是一個基于 Web 的監視工具。它為 InfoSphere DataStage 和 QualityStage 客戶提供了 IBM InfoSphere Information Server 引擎操作環境的全面視圖,監視當前和過去的作業活動、服務器資源使用情況和服務器引擎流程的健康狀態。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
功能介紹 提供IBM大數據產品線售前技術支持,發布相關的技術資料,產品使用、開發技巧等信息。
是一個基于 Web 的監視工具。它為 InfoSphere DataStage 和 QualityStage 客戶提供了 IBM InfoSphere Information Server 引擎操作環境的全面視圖,監視當前和過去的作業活動、服務器資源使用情況和服務器引擎流程的健康狀態。如圖所示:
一、利用Operations Console的強大功能,能讓我們更好地均衡系統工作負載、對引擎問題進行故障診斷以及更有效地調度作業運行
同時監控多個業務場景中的引擎層
創建ETL生產環境的360度視圖,一站式提供所有作業運行狀態、系統資源使用情況和 引擎層狀態信息,可快速確定集成環境的整體狀態并在發生問題時收到警報
跟蹤并分析歷史運行記錄,針對特定周期也提供相同的環境整體視圖。此歷史視圖使用戶能夠在沒有主動監控環境的情況下確定所發生的沖突和性能問題
提供工作負載管理功能(Workload Management),管理任務隊列,設定作業運行的優先級和并發度,控制作業所使用的CPU或內存等系統資源
二、Operations Console的使用場景
1.對失敗的作業運行進行故障診斷
作業可能因各種原因而失敗。如果沒有環境的引擎級視圖,那么確定這些原因可能十分困難。Operations Console 在作業運行失敗時立即發出警報,以便我們可以在問題發生后立即糾正問題。作業運行失敗后,我們也可以快速地查看故障前、故障期間以及故障后發生的所有 InfoSphere Information Server 引擎活動的列表。
通過Operations Console 所提示的信息向下鉆取,可發現失敗的作業依賴于其他由于運行時間異常而未能完成的作業之間的內在聯系。這樣,我們可以查看當作業遇到這些問題時收集的所有其他作業運行和系統資源使用情況信息。通過使用這些信息進行問題定位,以便在下次調度作業運行時不會發生該問題。
2.提高作業運行性能
如果沒有整個系統的視圖,那么確定導致作業性能差的原因將會非常困難。Operations Console 不僅能提供作業運行調度和作業設計的信息,還能提供作業運行時的系統資源使用情況。因此我們可以確定什么時候系統資源開銷過大?或者什么時候作業運行所用的系統資源量超出預估。
此外,Operations Console 還能夠輕松地將當前運行的作業與歷史運行的作業進行比較,以便確定導致性能變差或作業變更的潛在原因。
3.監控DataStage服務器引擎狀態
當InfoSphere DataStage 環境中發生問題時,Operations Console 可通過儀表板來顯示引擎層的后臺服務進程狀況以及系統資源不足的預警。
4.合理設定DataStage服務器上資源使用的系統策略
Operations Console 支持為以下系統策略設置閾值:
作業并發數
指定系統允許并發運行的最大作業數。
CPU 使用率
指定系統所允許的最大 CPU 使用率。如果當前 CPU 使用率超出該值,將不允許啟動新的作業
內存使用量
指定系統所允許的最大內存使用率。如果當前內存使用率超出該值,將不允許啟動新的作業。
作業啟動數
指定規定時間內(以秒為單位)允許啟動的最大作業數
三、Operations Console 架構和工作原理
Operations Console的整體架構由以下組件構成:
Operations 數據庫,用來存放作業的運行信息以及系統的資源信息。
在 DataStage 服務器上的進程 EngMonApp,它用來獲得作業的運行事件信息并寫入 Operations 數據庫。
在 DataStage 服務器上的進程 ResMonApp,它用來獲得系統資源的使用信息并寫入 Operations 數據庫。
在 DataStage 服務器上的進程 ResTrackApp,用來在本地的節點或者是遠程節點上獲得系統資源的使用信息,并且發送給 ResMonApp。
在 DataStage 服務器上的進程 ODBQueryAPP,把在 Operations 數據庫中的作業的運行信息和系統資源使用信息提供給 Operations Console。
Operations Console Web GUI, 基于瀏覽器的應用。它用來展示從 Operations 數據庫獲得的作業運行信息和系統資源使用信息,以及從元數據存儲倉庫中獲得的作業的設計信息
Operations Console 架構圖
Operations Console的工作流程主要包括加載和查詢:
加載操作
當啟用了 Operations Console 時,系統將采集和整合作業執行詳細信息(參數、狀態、統計信息和日志等)和系統資源利用率信息(CPU、內存和磁盤等),并以較短的間隔定期將它們插入到Operations Database 中。
查詢操作
當使用基于 Web 的客戶端監視作業執行或查看作業運行歷史時,將提交針對 Operations Database 的查詢請求,信息查詢會使用服務層中的服務檢索,返回符合要求的實時結果至前端動態展現。
四、如何配置Operations Console
1.創建 Operations 數據庫模式
建議在初始化安裝DataStage的時候,使用DB2自動化創建Operations數據庫,否則需要按照以下步驟手工創建:
手工創建DB2數據庫(也可以是Oracle或SQL Server)
將創建完成的數據庫注冊為Operations數據庫
a.在DataStage服務器上,切換到目錄/opt/IBM/InformationServer/ASBServer/bin
b.將/opt/IBM/InformationServer/Server/DSODB目錄下的DSODBrepos_registration.properties模板文件復制到當前目錄
c.編輯DSODBrepos_registration.properties文件,指定在步驟a中創建的數據庫配置信息
d.運行以下命令注冊為Operations數據庫
RepositoryAdmin.sh -registerRepository -propertyFile DSODBrepos_registration.properties
e.檢查注冊是否成功
RepositoryAdmin.sh -listRepositories
將創建完成的數據庫注冊為Operations數據庫
生成用于Operations數據庫模式的腳本
a.在DataStage服務器上,切換到目錄/opt/IBM/InformationServer/ASBServer/bin
b.運行RepositoryAdmin工具以生成所需的腳本(name是數據庫名,location是生成腳本的目錄):
RepositoryAdmin.sh -saveSQLScripts -reposName name -scriptLocation location
運行以下腳本,為DB2數據庫創建Operations數據庫模式:
db2 -l dsodb_setup_db.log -stf dsodb_db_creation.sql
db2 -l dsodb_setup_tablespace.log -stf dsodb_tablespace_creation.sql
db2 -l dsodb_setup_table.log -stf dsodb_table_creation.sql
2.配置Operations 數據庫將要捕獲的監控數據
所有作業的數據監控選項都在DSODBConfig.cfg 配置文件中進行設置,該文件位于/opt/IBM/InformationServer/Server/DSODB/目錄下。
必須設置DSODBON=1,以啟用監控數據捕獲。其他參數可根據實際需求來定制。
3.檢查監控系統的配置
運行DSAppWatcher.sh腳本來檢查監控系統的配置是否正確。
4.啟動AppWatcher進程,開始收集監控數據
DSAppWatcher.sh –start
5.配置工作負載管理(Workload Management)
配置/opt/IBM/InformationServer/Server/DSODB/目錄下的DSODBConfig.cfg文件,設置WLMON=1
重新啟動DataStage引擎
uv -admin -stop
uv -admin -start
6.啟動Operations Console
訪問以下鏈接,登陸 Operations Console:
//domain:port/ibm/iis/ds/console/login.html 或
//domain:port/ibm/iis/ds/console/login.html
domain為DataStage服務器的主機名或IP
port為http或https端口號
詳情請咨詢!
客服熱線:023-66090381
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn