從NoSQL說起

從NoSQL到NewSQL，新技術的發展極大拓展了數據查詢的應用場景：支持半結構化數據(JOSON)、非結構化數據的高效率讀寫和查詢等。而在此過程中經典的SQL技術仍舊在發揮著無可替代的作用，在Hadoop的世界中也必將占據一席之地。

作為傳統的RMDBS核心廠商之一，IBM也一直努力將SQL帶入的世界，這就是BigSQL。最初版本中BigSQL是做為SQL到MR的轉換引擎出現的，可以把復雜的SQL語句轉換成MR作業運行。這種方式還只是適合對大量數據進行批量處理，并不能滿足對數據的隨需查詢和秒級的查詢響應時間要求。

從BigSQL3.0 開始， IBM結合自己在數據庫領域長期的技術積累，把MPP相關技術帶入的世界，從而為SQL on Hadoop帶來真正的提升：BigSQL根據數據在HDFS中的分布，將查詢任務下壓至不同的Worker節點；在此過程中，引入眾多成熟的SQL優化技術，包括SQL語句重寫、查詢謂詞下壓、基于統計信息和成本估計的優化策略等，解決執行路徑優化等難題，確保數據查詢的性能。僅在執行路徑優化方面應用到的技術就包括：

數據處理順序的優化技術：

- 根據統計信息決定查詢謂詞的執行順序

- 根據數據分布情況優化關聯查詢次序

- 優化數據聚合策略(如每個節點先部分聚合后再匯總等)

數據表關聯的優化技術：

- 表嵌套關聯

- 排序合并關聯

- 哈希關聯

數據位置相關的優化技術：

- 并行運算

- 廣播關聯數據表

- 聯邦查詢中操作下推和函數轉換等

BigSQL執行引擎根據實際情況綜合考慮最終的執行路徑。下圖可以感受下BigSQL執行過程中應用到的多種SQL優化技術：

除了引入MPP架構來優化上的SQL引擎外，BigSQL還有眾多閃光的亮點：

全面支持SQL語法和開放的數據源支持：

BigSQL全面支持SQL 2011標準，提供如表關聯、嵌套語句、函數、表操作表達式、group by， union等SQL操作，還提供對存儲過程、自定義函數的支持，可以無縫銜接傳統的SQL查詢應用，如BI系統等。下圖展示了BigSQL的部分SQL能力：

BigSQL可以支持多種數據源，包括HDFS、HBASE、HIVE、外部數據源等，對數據源和數據格式的支持是完全開放的。

完善的SQL管理

BigSQL完美的集成了DSM，其Web圖形化界面提供從監視、開發、到管理的各項服務，可以完成監視語句執行狀態、開發查詢應用、開發存儲過程和管理查詢服務等各項任務。如下圖中的SQL編輯器支持在線執行SQL語句并查看結果。

數據聯邦查詢

除了可以支持查詢內部的各種數據源外，BigSQL 還支持與其他企業數據源進行聯邦，包括：DB2/Oracle/IBM PDA/IBM PDOA/TeraData/JDBC等，聯邦讓跨系統的數據訪問在一個SQL中完成，而不需要復雜的ETL過程和數據傳輸等待。

聯邦的含義不僅僅是指打通了數據訪問通道，還包括查詢路徑優化方面的考慮。比如，根據數據的分布和數據源的支持情況：將語句下壓至聯邦數據源執行；部分在聯邦數據源部分在BigSQL執行；或者全部由BigSQL執行。

數據量、聯邦數據源處理能力、聯邦數據源的處理速度、返回數據比例、網絡帶寬等這些都在考慮之列。比如，如果數據源僅支持正切函數TAN(x)，而不支持余切函數COT(X），BigSQL將會SQL中的COT(x)轉換成等價的正切函數表達式1/TAN(x)。

通過聯邦，BigSQL可以讓本來不具備SQL數據訪問能力的數據源變成兼容SQL數據訪問標準的數據源。下圖顯示了BigSQL聯邦支持的數據源：

內置函數豐富，包含機器學習算法

BigSQL除了可以提供常規的SQL函數外，還提供了眾多機器學習算法的實現，包括：K-means聚類算法、樸素貝葉斯算法、關聯規則算法、序列模式挖掘算法、線性回歸算法等。這讓熟悉SQL語法和數據的DBA，馬上提升數據分析技能！！

如下圖顯示通過簡單的一條SQL語句就可以完成對人口收入調查數據集（CensusIncome）的聚類建模分析：

再通過一條SQL即可顯示聚類分析結果：

安全特性

安全性是企業級產品必須要考慮的，BigSQL中的用戶鑒權通過外部框架完成，如LDAP，而用戶連接之后的內部鑒權則由BigSQL完成。BigSQL可以根據用戶的授權、屬主和角色判定用戶的權限。如同數據庫一樣，BigSQL可以通過GRANT語句給用戶授權，可以做到行、列級別的權限控制。

另外，BigSQL還實現數據訪問的審計功能，對什么人從什么時間什么地點訪問了什么數據進行了完整的審計。

最后，除了文章中列出的這些特點，BigSQL具備更多企業級產品的特性，有待您來一起探索。

詳情請咨詢！

客服熱線：023-66090381