這些 Python 庫幫助你加速數據傳輸，通過 AWS Lambda 對大型計算工作做碎片化處理，并使用略低于 TensorFlow 的模型工作。

機器學習令人興奮，但具體工作復雜而困難。通常它涉及很多手動提升——匯總工作流及傳輸渠道，設置數據源，以及在內部部署和云部署的資源之間來回分流。

用來提高工作效率的手頭工具越多越好。慶幸的是，Python 是一個威力巨大的工具語言，在大數據和機器學習之中被廣泛使用。下面是 5 個 Python 庫，幫助你緩解來自交易提升的重負。

PyWren

地址：//github.com/ericmjonas/pywren

PyWren，一個帶有強大前提的簡單包，能使你運行基于 Python 的科學計算工作量，以作為 AWS Lambda 函數的多個例子。項目 At The New Stack 的簡介這樣描述 PyWren: 把 AWS Lambda 用作一個巨大的平行處理系統，以處理那些可被切割成諸多小任務的項目，這些小任務的運行不需要占用很多內存或硬盤。

Lambda 函數的一個缺點是運行時間最長不能超過 300 秒。但是，如果你需要一個只花費幾分鐘就能完成的工作，并在數據集中需要運行數千次，那么 PyWren 也許是一個好選擇，它可以一種用戶硬件上不可用的規模平行化云端的工作。

谷歌的 TensorFlow 框架正邁入偉大時刻，因為剛發布了 1.0。人們通常會問一個問題：如何利用在上面訓練的模型而無需使用 TensorFlow 本身？

Tfdeploy

地址：//github.com/riga/tfdeploy

Tfdeploy 可以部分解決這個問題。將訓練過的 TensorFlow 模型輸出「一個簡單的基于 Numpy 的可調用對象（callable）」，也就是說，借由 Tfdeploy，可以在 Python 中使用模型，而且 Numpy 的數學和統計庫被作為唯一的依靠。幾乎所有能在 TensorFlow 上跑的運行也能在 Tfdeploy 上跑，而且你可以通過標準 Python 隱喻方式來延伸庫的行為（比如，超載一個類別）。

現在，壞的消息是：Tf 部署并不支持 GPU 加速，要是 Numpy 能克服那一點該多好。Tfdeploy 的創造者建議 gNumPy 項目是一個可行的替代。

Luigi

地址：//github.com/spotify/luigi

編寫成批作業通常只是處理海量數據的其中一步：你也不得不將所有這些工作串聯起來，做成類似工作流程的東西。Luigi 是 Spotify 打造的，用于「解決所有通常與長期運行成批處理作業有關的管道問題。」

有了 Luigi，研發人員就可以從事幾個很難、與數據無關的任務處理——「一個 Hive 詢問，一個在 Jave 上完成的 Hadoop 任務，一個 Scala 上的 Spark 任務，一個從數據庫中導出表格」——創造一個端到端運行它們的工作流。對任務的整個描述以及依存性被打造為 Python 模塊，和 XML 配置文檔或其他數據形式不同，因此，可以被組合到其他以 Python 為中心的項目中去。

Kubelib

地址：//github.com/safarijv/kubelib

如果你采用 Kubernetes 作為完成機器學習工作的編排系統（orchestration system），你最不想要的就是它產生的問題比能解決的問題都多。Kubelib 為 Kubernetes 提供了一系列的 Python 接口，本來是用 Jekins scripting 作為幫助。但沒有 Jenkins 的情況下也能夠使用，它能夠完成 暴露在 kubectl CLI 或者 Kubernetes API 中的所有事。

PyTorch

地址：//github.com/pytorch/pytorch

不要忘記了最近發布的、引人注目的 Python 庫新成員 Pytorch，這是 Torch 機器學習框架的一個工具。PyTorch 不僅為 Torch 添加了 Python 端口，也增加了許多其他的便利，比如 GPU 加速，共享內存完成多重處理（multiprocessing，特別是多核上隔離開的工作。) 最好的是，它們能為 Numpy 中的無加速功能提供 GPU 驅動的替代選擇。

本文轉自（）