https://github.com/zhourunlai/deep-learning-demo

deeplearningDemo

Wunderlist

• [ ] 1. Machine Learning Yearning

• [ ] 2. Deep Learning Book(感謝北京大學張志華團隊的翻譯工作维贺，中文版點擊這里)

一汽纤、記錄深度學習例子：

二愚铡、記錄歷程點滴:

1. 掌握機器學習相關(guān)的概念及計算公式舆乔，包括有/無/半監(jiān)督學習向胡，強化學習，分類/回歸/標注，聚類；訓練集/驗證集哄辣，交叉驗證，測試集赠尾；數(shù)據(jù)預處理力穗，正則化，歸一化气嫁；損失函數(shù)当窗，經(jīng)驗風險最小化，結(jié)構(gòu)風險最小化寸宵，最優(yōu)化算法崖面；訓練誤差，泛化誤差梯影，欠擬合巫员，過擬合；準確率光酣，召回率疏遏，F(xiàn)1值，ROC和AUC救军；

2. 掌握機器學習主流的模型及其算法，包括有生成方法：樸素貝葉斯倘零、隱馬爾可夫模型唱遭，判別方法：感知機、logistic回歸呈驶、決策樹拷泽、K近鄰、支持向量機、提升方法司致、最大熵拆吆、條件隨機場等；

3. 安裝 numpy, scipy, pandas, matplotlib, scikit-learn, xgboost 等 python 包脂矫，實戰(zhàn)項目：識別手寫數(shù)字枣耀、畫決策樹、文本挖掘過濾垃圾郵件庭再、情感傾向分析捞奕、波斯頓房價預測、基于協(xié)同過濾的推薦系統(tǒng)拄轻、圖像分類等颅围，上手 kaggle、KDD 比賽題或者阿里天池恨搓、滴滴Di-Tech院促、今日頭條bytecup 比賽題；

4. 了解大數(shù)據(jù)相關(guān)的知識斧抱，包括有Flume一疯、Kafka，Storm夺姑，Hadoop墩邀，Spark等，知道Hadoop基金下的項目（Cassandra盏浙、HBase眉睹、Hive、Pig废膘、ZooKeeper等）的應用場景竹海，特別地要知道分布式計算框架的原理，從 HDFS丐黄、MapReducer 到 Streaming斋配；

5. 安裝 spark-2.0.0-bin-hadoop2.7，掌握 Hadoop Shell命令灌闺，兩種模式下運行 Spark 作業(yè)艰争，了解 Spark SQL/Streaming/GraphX，掌握 Spark MLlib 寫機器學習算法桂对；

6. 深度學習相關(guān)的概念及計算公式甩卓，包括神經(jīng)元模型、輸入層蕉斜、隱藏層逾柿、輸出層缀棍、weight、bias机错、BP算法爬范、目標函數(shù)（mean_squared_error、mean_absolute_percentage_error等）弱匪、激活函數(shù)（sigmoid青瀑、softmax、tanh痢法、relu等）狱窘、優(yōu)化算法（SGD、RMSprop财搁、Adagrad蘸炸、Adam等）、多層感知器尖奔、自動編碼器搭儒、卷積神經(jīng)網(wǎng)絡(luò)CNN（卷積層Convolution2D、池化層MaxPooling2D）提茁、遞歸神經(jīng)網(wǎng)絡(luò)RNN淹禾、LSTM、全連接網(wǎng)絡(luò)等茴扁；

7. 安裝深度學習框架 TensorFlow/Theano 或其它铃岔，掌握 tf 的張量、圖峭火、會話的用法毁习，了解分布式/使用GPU的方法，動手寫經(jīng)典的項目卖丸，學會使用 Vgg 16/19 和 ResNet 的模型并運用到自己的項目中纺且；

8. 安裝更上層的深度學習庫 Keras，更加快速稍浆、熟練的編寫出各種種類的神經(jīng)網(wǎng)絡(luò)模型载碌。

TODO:

1. Autoencoder：
   特點：1）數(shù)據(jù)相關(guān)的，2）有損的衅枫，3）從樣本中自動學習的嫁艇；
   作用：1）數(shù)據(jù)去噪，2）進行可視化而降維为鳄；
   類型：簡單自編碼器裳仆、稀疏自編碼器、深度自編碼器孤钦、卷積自編碼器歧斟、序列到序列的自動編碼器、變分自編碼器偏形；

2. CNN：
   LeNet静袖、AlexNet、GoogLeNet俊扭、VGG队橙、ResNet

   高級激活: LeakyReLU, PReLU, ELU, ParametricSoftplus, ThresholdedReLU, SReLU

   卷積: Convolution1D, Convolution2D, AtrousConvolution2D, SeparableConvolution2D, Deconvolution2D, Convolution3D, UpSampling1D, UpSampling2D, UpSampling3D, ZeroPadding1D, ZeroPadding2D, ZeroPadding3D

   內(nèi)核: Dense, Activation, Dropout, SpatialDropout2D, SpatialDropout3D, Flatten, Reshape, Permute, RepeatVector, Merge, Highway, MaxoutDense

   嵌入: Embedding

   歸一化: BatchNormalization

   池化: MaxPooling1D, MaxPooling2D, MaxPooling3D, AveragePooling1D, AveragePooling2D, AveragePooling3D, GlobalMaxPooling1D, GlobalAveragePooling1D, GlobalMaxPooling2D, GlobalAveragePooling2D

   循環(huán): SimpleRNN, LSTM, GRU

   包裝器:Bidirectional, TimeDistributed

3. RNN：
   http://deeplearning.net/tutorial/rnnslu.html

4. LSTM：
   http://deeplearning.net/tutorial/lstm.html

5. GAN:
   http://datascienceassn.org/sites/default/files/Generative%20Adversarial%20Nets.pdf
   https://github.com/255BITS/HyperGAN

三、記錄開源資料：

機器學習相關(guān)

網(wǎng)站：

1. awesome-machine-learning
2. dl
3. 我愛機器學習
4. 寒小陽的博客

書籍：

1. 統(tǒng)計學習方法萨惑、集體智慧編程捐康、利用python進行數(shù)據(jù)分析、機器學習實戰(zhàn)庸蔼、機器學習西瓜書解总、Spark MLlib 機器學習
2. 自然語言處理、計算廣告姐仅、推薦系統(tǒng)花枫、計算機視覺、大數(shù)據(jù)應用實踐

課程：

1. Coursera Ng大牛的課程
2. 小象學院鄒博老師的課程

深度學習相關(guān)

網(wǎng)站：

1. deeplearning.net 收藏夾必備掏膏，paper指南
2. Neural Networks and Deep Learning
3. UFLDL教程

書籍：

1. DeepLearningBook 亞馬遜預售12月出劳翰，等不及花40元打

課程：

1. 優(yōu)達學城的deep-learning免費課程
2. 深度學習2016暑假課程有PPT無字幕
3. 周莫煩的錄制視頻Youtebe和優(yōu)酷均有

Tips:
①Follow 業(yè)界大牛的 Twitter，比如 Geoffrey Hinton (Google AI團隊)馒疹、Aymeric Damien (Facebook AI實驗室)佳簸、Yoshua Bengio (蒙特利爾大學終身教授) 、Andrew Ng (斯坦福大學副教授)颖变、Li Feifei生均、Andrej Karpathy 等，掌握大神們的最新研究進展悼做；
②Reddit 上訂閱一些主題如 /r/deeplearning疯特，可以知道業(yè)界最新的新聞動態(tài)，還有一些 discussion 如 WAYR(what_are_you_reading) 可以交流肛走。

四漓雅、記錄開發(fā)機

1. 自己的 MacBook Pro 一訓練數(shù)據(jù)CPU升到200%₃₀₀就開始發(fā)熱，甚至風扇開始轉(zhuǎn)朽色；

2. 偶然聽朋友建議到 SuperVessel上試試邻吞，裝了GPU下的TF，但是必須在規(guī)定的VPN下才能SSH葫男；

3. 接下來轉(zhuǎn)到 AWS抱冷，可以自己搭建應用了， 現(xiàn)在有兩種虛擬機 g2.2xlarge（單塊CPU梢褐，4G顯存）和 g2.8xlarge（4塊CPU旺遮，4G顯存）赵讯，都是CUDA的。知乎上的教程在AWS上配置深度學習主機耿眉。

4. 阿里云HPC 和 Ucloud 現(xiàn)也有帶 Tesla 的物理機了边翼。用前者低配版的訓練 neural-style，14分鐘左右鸣剪，python neural_style.py --content content.jpg --styles style.jpg --output output.jpg --iteration 1000 --width 512组底。用之前算一算數(shù)據(jù)量要付費多少，大了的話買虛擬機還不如自己搭一臺工作站筐骇；

5. 等畢業(yè)了自己搭一臺工作站吧...

6. TPU是什么鬼

五债鸡、記錄集群部署

1. Spark集群部署

2. 分布式tensorflow部署與訓練

使用 git hook，配合 rsync铛纬，本地開發(fā)機一次提交代碼厌均，使集群間指定目錄代碼一致，節(jié)省每臺機器都復制粘貼代碼的操作饺鹃；這樣跑分布式訓練時莫秆，只需要在每臺機器上帶參數(shù)來運行代碼就可以了

六、項目demo

1. IMAGE相關(guān)：
   1.1 圖像風格轉(zhuǎn)換neural-style anishathalye/neural-style
   1.2 素描自動上色 pfnet/PaintsChainer
   1.3 圖像描述 iFighting/im2txt
   1.4 圖片生成故事 ryankiros/neural-storyteller
   1.5 小度機器人
   1.6 生成明星臉

2. NLP相關(guān)：
   2.1 古詩詞生成器

3. RNN相關(guān)：
   3.1 創(chuàng)作歌曲/歌曲風格轉(zhuǎn)換

4. RL相關(guān)：
   4.1 憤怒的小鳥 yenchenlin/DeepLearningFlappyBird
   4.2 模擬自動駕駛 kevinhughes27/TensorKart

七悔详、調(diào)參trick

1. Theano調(diào)試技巧