MXNet

MXNet 是 DMLC（Distributed Machine Learning Community）開(kāi)發(fā)的一款開(kāi)源的、輕量級(jí)、可移植的、靈活的深度學(xué)習(xí)庫(kù)，它讓用戶可以混合使用符號(hào)編程模式和指令式編程模式來(lái)最大化效率和靈活性，目前已經(jīng)是 AWS 官方推薦的深度學(xué)習(xí)框架。MXNet 的很多作者都是中國(guó)人，其最大的貢獻(xiàn)組織為百度，同時(shí)很多作者來(lái)自 cxxnet、minerva 和 purine2 等深度學(xué)習(xí)項(xiàng)目，可謂博采眾家之長(zhǎng)。其主要優(yōu)勢(shì)如下：

1. 同比于其他框架，MXNet最先支持多 GPU 和分布式，同時(shí)其分布式性能也非常高；
2. MXNet 的核心是一個(gè)動(dòng)態(tài)的依賴調(diào)度器，支持自動(dòng)將計(jì)算任務(wù)并行化到多個(gè) GPU 或分布式集群（支持 AWS、Azure、Yarn 等)；
3. 它上層的計(jì)算圖優(yōu)化算法可以讓符號(hào)計(jì)算執(zhí)行得非常快，而且非常節(jié)約內(nèi)存；
4. 此外，MXNet 的一個(gè)很大的優(yōu)點(diǎn)是支持非常多的語(yǔ)言封裝，比如 C++、Python、R、Julia、Scala、Go、MATLAB 和 JavaScript 等，可謂非常全面，基本主流的腳本語(yǔ)言全部都支持了；

在 MXNet 中構(gòu)建一個(gè)網(wǎng)絡(luò)需要的時(shí)間可能比 Keras、Torch 這類高度封裝的框架要長(zhǎng)，但是比直接用 Theano 等要快。MXNet 的各級(jí)系統(tǒng)架構(gòu)（下面為硬件及操作系統(tǒng)底層，逐層向上為越來(lái)越抽象的接口），如圖所示：

Keras

Keras 是一個(gè)崇尚極簡(jiǎn)、高度模塊化的神經(jīng)網(wǎng)絡(luò)庫(kù)，使用 Python 實(shí)現(xiàn)，并可以同時(shí)運(yùn)行在 TensorFlow 和 Theano 上。它旨在讓用戶進(jìn)行最快速的原型實(shí)驗(yàn)，讓想法變?yōu)榻Y(jié)果的這個(gè)過(guò)程最短。Theano 和 TensorFlow 的計(jì)算圖支持更通用的計(jì)算，而 Keras 則專精于深度學(xué)習(xí)。Theano 和 TensorFlow 更像是深度學(xué)習(xí)領(lǐng)域的 NumPy，而 Keras 則是這個(gè)領(lǐng)域的 Scikit-learn。它提供了目前為止最方便的 API，用戶只需要將高級(jí)的模塊拼在一起，就可以設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，其主要優(yōu)勢(shì)如下：

1. 大大降低了編程開(kāi)銷（code overhead）和閱讀別人代碼時(shí)的理解開(kāi)銷（cognitive overhead）；
2. 同時(shí)支持卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)，支持級(jí)聯(lián)的模型或任意的圖結(jié)構(gòu)的模型（可以讓某些數(shù)據(jù)跳過(guò)某些 Layer 和后面的 Layer 對(duì)接，使得創(chuàng)建 Inception 等復(fù)雜網(wǎng)絡(luò)變得容易），從 CPU 上計(jì)算切換到 GPU 加速無(wú)須任何代碼的改動(dòng)；
3. 因?yàn)榈讓邮褂?Theano 或 TensorFlow，用 Keras 訓(xùn)練模型相比于前兩者基本沒(méi)有什么性能損耗（還可以享受前兩者持續(xù)開(kāi)發(fā)帶來(lái)的性能提升），只是簡(jiǎn)化了編程的復(fù)雜度，節(jié)約了嘗試新網(wǎng)絡(luò)結(jié)構(gòu)的時(shí)間；

可以說(shuō)模型越復(fù)雜，使用 Keras 的收益就越大，尤其是在高度依賴權(quán)值共享、多模型組合、多任務(wù)學(xué)習(xí)等模型上，Keras 表現(xiàn)得非常突出。Keras 所有的模塊都是簡(jiǎn)潔、易懂、完全可配置、可隨意插拔的，并且基本上沒(méi)有任何使用限制，神經(jīng)網(wǎng)絡(luò)、損失函數(shù)、優(yōu)化器、初始化方法、激活函數(shù)和正則化等模塊都是可以自由組合的。Keras 也包括絕大部分 state-of-the-art 的 Trick，包括 Adam、RMSProp、Batch Normalization、PReLU、ELU、LeakyReLU 等。同時(shí)，新的模塊也很容易添加，這讓 Keras 非常適合最前沿的研究。Keras 中的模型也都是在 Python 中定義的，不像 Caffe、CNTK 等需要額外的文件來(lái)定義模型，這樣就可以通過(guò)編程的方式調(diào)試模型結(jié)構(gòu)和各種超參數(shù)。在 Keras 中，只需要幾行代碼就能實(shí)現(xiàn)一個(gè) MLP，或者十幾行代碼實(shí)現(xiàn)一個(gè) AlexNet，這在其他深度學(xué)習(xí)框架中基本是不可能完成的任務(wù)。Keras 最大的問(wèn)題可能是目前無(wú)法直接使用多 GPU，所以對(duì)大規(guī)模的數(shù)據(jù)處理速度沒(méi)有其他支持多 GPU 和分布式的框架快。Keras 的編程模型設(shè)計(jì)和 Torch 很像，但是相比 Torch，Keras 構(gòu)建在 Python 上，有一套完整的科學(xué)計(jì)算工具鏈，而 Torch 的編程語(yǔ)言 Lua 并沒(méi)有這樣一條科學(xué)計(jì)算工具鏈。無(wú)論從社區(qū)人數(shù)，還是活躍度來(lái)看，Keras 目前的增長(zhǎng)速度都已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了 Torch。

更多行業(yè)資訊，更新鮮的技術(shù)動(dòng)態(tài)，盡在。