深度學習作為機器學習的一個分支，是近年來最熱門同時也是發展最快的人工智能技術之一，相關學習資源包括免費公開教程和工具都極大豐富，同時這也為學習  的IT人才帶來選擇上的困擾，Yerevann整理的這個深度學習完全指南 ，匯集了目前網絡上最優秀的深度學習自學資源，而且會不定期更新，非常值得收藏關注，以下是IT經理網編譯整理的指南內容：

自學基本要求（數學知識、編程知識）

數學知識：學員需要具備普通大學數學知識，例如 《Deep Learning》 一書中若干章節提到的數學概念：

編程知識：你需要懂得編程才能開發和測試深度學習模型，我們建議在機器學習領域首選Python。同時也要用到面向科學計算的NumPy/SciPy代碼庫。資源鏈接如下（本文出現的星標代表難度等級）：

 ★

 – 涵蓋了常用的各種庫，介紹也比較詳細，還涉及一些深入的技術話題 ★★

四大入門教程

如果你具備以上自學基本要求技能，我們建議從以下四大入門在線教程中任選一項或多項組合學習（星標為難度等級）：

這是YouTube上很火的一個深度學習視頻教程，錄制于2013年，但今天看內容并不過時，很詳細地闡釋了神經網絡背后的數學理論。   . ★★

 (應用于視覺識別的卷積神經網絡) 由已經投奔Google的李飛飛教授和 Andrej Karpathy、Justin Johnson共同執教的課程，重點介紹了圖像處理，同時也涵蓋了深度學習領域的大多數重要概念。   、   ★★

Michael Nielsen的在線著作：  是目前學習神經網絡  最容易的教材 ，雖然該書并未涵蓋所有重要議題，但是包含大量簡明易懂的闡釋，同時還為一些基礎概念提供了實現代碼。★

Ian Goodfellow、Yoshua Bengio and Aaron Courville共同編著的  是目前深度學習領域  最全面的教程 資源，比其他課程涵蓋的范圍都要廣。 ★★★

機器學習基礎

機器學習是通過數據教計算機做事的科學，同時也是一門藝術，機器學習是計算機科學和數學交匯的一個相對成熟的領域，深度學習只是其中新興的一小部分，因此，了解機器學習的概念和工具對我們學好深度學習非常重要。以下是機器學習的一些重要學習資源（以下課程介紹部分內容不再翻譯）：

 – decision trees ★

 , the most popular course on Coursera ★★

Larochelle’s course doesn’t have separate introductory lectures for general machine learning, but all required concepts are defined and explained whenever needed.

 ★★

 ★★★

 ★

 ★★

機器學習的編程學習資料：大多數流行機器學習算法都部署在Scikit-learn 這個Python庫中，從頭部署算法能夠幫我們更好地了解機器學習的工作原理，以下是相關學習資源：

 covers linear regression, k-nearest-neighbors and support vector machines. First it shows how to use them from scikit-learn, then implements the algorithms from scratch. ★

Andrew Ng’s course on Coursera has many assignments in Octave language. The same algorithms can be implemented in Python. ★★

神經網絡基礎

神經網絡是強大的機器學習算法，同時也是深度學習的基礎：

 – shows how simple neural networks can do linear regression ★

 ★★

 ★★

 ★★

 ★★

 ★

 ★

 ★

 ★★★

 explains why it is important to implement backpropagation once from scratch ★★

 ★★

 ★

神經網絡實操教程

 – Jupyter notebook available ★

Andrej Karpathy implements backpropagation in Javascript in his  . ★

 in Python ★

改進神經網絡學習

神經網絡的訓練可不容易，很多時候機器壓根不會學習（underfitting），有時候又“死學”，照本宣科你輸入的知識，無法總結歸納出新的數據（overfitting）,解決上述問題的方法有很多，如下是

推薦教程：

 ★★

 ★★

 ★★

 ★

 ★

 ★★★

 ★★★

 ★★★

 – visualizes the performance of different optimization algorithms ★

 ★★★

 ★★★

常用的主流框架

目前很多  都對最新的計算機硬件進行了優化，大多數框架也提供Python接口（Torch除外，需要Lua）。當你了解基本的深度學習算法的部署后，是時候選擇一個框架開工了（這部分還可CTOCIO文章：   ）：

 provides low-level primitives for constructing all kinds of neural networks. It is maintained by   . See also:   – Jupyter notebook available ★

 is another low-level framework. Its architecture is similar to Theano. It is maintained by the Google Brain team.

 is a popular framework that uses Lua language. The main disadvantage is that Lua’s community is not as large as Python’s. Torch is mostly maintained by Facebook and Twitter.

There are also higher-level frameworks that run on top of these:

 is a higher level framework built on top of Theano. It provides simple functions to create large networks with few lines of code.

 is a higher level framework that works on top of either Theano or TensorFlow.

如果你有框架選擇困難癥，可以參考斯坦福課程  . ★★

卷積神經網絡

卷積神經網絡Convolutional networks (CNNs)，是一種特定的神經網絡，通過一些聰明的方法大大提高了學習速度和質量。卷積神經網絡掀起了計算機視覺的革命，并廣泛應用于語音識別和文本歸類等領域，以下是

推薦教程：

 ★★

 ★★

 ★★

 ★★

 ★★

 includes upconvolutions ★★

 ★

 ★★★

 – shows how convolutional filters (also known as image kernels) transform the image ★

 – live visualization of a convolutional network right in the browser ★

 ★★

 ★★★

 ★★

卷積神經網絡框架部署和應用

所有重要的框架都支持卷積神經網絡的部署，通常使用高級函數庫編寫的代碼的可讀性要更好一些。

 ★★

 ★

 – a blog post by one of the best performers of Diabetic retinopathy detection contest in Kaggle. Includes a good example of data augmentation. ★★

 – the authors used different ConvNets for localization and classification.   . ★★

 for image classification on CIFAR-10 dataset ★★

 ★★

 ★★★

 – implements famous VGGNet network with batch normalization layers in Torch ★

 – Residual networks perform very well on image classification tasks. Two researchers from Facebook and CornellTech implemented these networks in Torch ★★★

 – lots of practical tips on using convolutional networks including data augmentation, transfer learning, fast implementations of convolution operation ★★

遞歸神經網絡

遞歸神經網絡Recurrent entworks（RNNs）被設計用來處理序列數據（例如文本、股票、基因組、傳感器等）相關問題，通常應用于語句分類（例如情感分析）和語音識別，也適用于文本生成甚至圖像生成。

教程如下：

 – describes how RNNs can generate text, math papers and C++ code ★

Hugo Larochelle’s course doesn’t cover recurrent neural networks (although it covers many topics that RNNs are used for). We suggest watching  by Nando de Freitas to fill the gap ★★

 ★★

 ★★

Michael Nielsen’s book stops at convolutional networks. In the  section there is just a brief review of simple recurrent networks and LSTMs. ★

 ★★★

 from Stanford’s CS224d (2016) by Richard Socher ★★

 ★★

遞歸神經網絡的框架部署與應用

 ★★★

 ★★★

 ★★

 ★

 in Lasagne ★

 using Lasagne ★

 for language modeling ★★

 ★★

 ★★★

 ★★

 ★★★

Autoencoders

Autoencoder是為非監督式學習設計的神經網絡，例如當數據沒有標記的情況。Autoencoder可以用來進行數據維度消減，以及為其他神經網絡進行預訓練，以及數據生成等。以下課程資源中，我們還收錄了Autoencoder與概率圖模型整合的一個autoencoders的變種，其背后的數學機理在下一章“概率圖模型”中會介紹。

推薦教程：

 ★★

 ★★

 – this video also touches an exciting topic of generative adversarial networks. ★★

 ★★★

 ★

 ★★

Autoencoder的部署

大多數autoencoders都非常容易部署，但我們還是建議您從簡單的開始嘗試。課程資源如下：

 ★★

 ★★

 ★★

 ★★

 ★

概率圖模型

概率圖模型（Probabilistic Graphical model，PGM）是統計學和機器學習交叉分支領域，關于概率圖模型的書籍和課程非常多，以下我們收錄的資源重點關注概率圖模型在深度學習場景中的應用。其中Hugo Larochelles的課程介紹了一些非常著名的模型，而Deep Learning一書有整整四個章節專門介紹，并在最后一章介紹了十幾個模型。本領域的學習需要讀者掌握大量數學知識：

 ★★★

 ★★★

 ★★★

 ★★★

 ★★★

 – first steps towards probabilistic models ★★★

 ★★★

 ★★★

 ★★★

 ★★★

 – includes Boltzmann machines (RBM, DBN, …), variational autoencoders, generative adversarial networks, autoregressive models etc. ★★★

 – a blog post on variational autoencoders, generative adversarial networks and their improvements by OpenAI. ★★★

 attempts to organize lots of architectures using a single scheme. ★★

概率圖模型的部署

高級框架（Lasagne、Keras）不支持概率圖模型的部署，但是Theano、Tensorflow和Torch有很多可用的代碼。

 ★★★

 ★★★

 – uses a combination of variational autoencoders and generative adversarial networks. ★★★

 – another application of generative adversarial networks. ★★★

 – Torch implementation of Generative Adversarial Networks ★★

精華論文、視頻與論壇匯總

 深度學習重要論文的大清單。

 為瀏覽 arXiv上的論文提供了一個漂亮的界面.

 含有大量關于深度學習的高級議題視頻

 一個非常活躍的Reddit分支. 幾乎所有重要的新論文這里都有討論。

本文轉載自：36大數據