• 梯度檢驗 爆炸-》裁剪

• 權(quán)重初始化

• 指數(shù)加權(quán)平均(對于時間序列數(shù)據(jù))減少噪音

  
  

• 偏差修正（避免前期數(shù)值太械蘖）

  
  

• momentum
  對dW,db進行指數(shù)加權(quán)平均（也可以加上偏差修正，但一般不用）防止dW大幅度浮動
  β一般取值>0.9（可以視為對1/(1-β)個數(shù)據(jù)進行加權(quán)平均）
  

• RMSprop
  

  
  對dW,db進行縮放

• Adam
  綜合momentum與RMSprop

  
  
  
  

• 學習速率遞減
  多種多樣的方法，一般以一個epoch為單位進行遞減

• 高維度 幾乎不可能被困在局部最優(yōu)薯酝，但平穩(wěn)點是一個問題

• 超參數(shù)選取

  • random values,不要用grid間隔選取

  • 粗糙到細致

    
    
  • 指數(shù)級上取值
  • babysitting 與 多模型平行運行

• batch歸一化
  對前一層經(jīng)過激活前的數(shù)據(jù)進行歸一normalize，不需要再設(shè)置參數(shù)b
  改變分布，減少covariate shift
  添加噪音腕唧，輕微正則化
  預測時，對樣本進行縮放采用訓練時的縮放參數(shù)（指數(shù)加權(quán)平均活動縮放參數(shù)）

• softmax層

  
  
  loss function

機器學習工程

• 調(diào)整模型時 確保正交化瘾英，不會牽一發(fā)動全身
• 確定評價指標
• train dev test (dev test 獨立同分布)
• 部署后效果不好枣接，改變評價指標/改變dev test
• 貝葉斯誤差

• 根據(jù)可避免誤差，確定是改善方差還是偏差
  方差訓練集與測試集缺谴，偏差訓練集與貝葉斯誤差

  
  

• 誤差分析

  
  

• 為了確定驗證集與訓練集的誤差差如何改善但惶，設(shè)置training-dev set與train set同分布但不訓練
  從而確定是方差問題、偏差問題湿蛔、還是數(shù)據(jù)不匹配問題

  
  
  
  
• 數(shù)據(jù)不匹配 對訓練集進行處理（圖像膀曾、聲音）人工合成數(shù)據(jù)，使其盡量與應(yīng)用場景相接近
• 遷移學習
• 多任務(wù)學習（視覺下阳啥，各個任務(wù)數(shù)據(jù)互助添谊，比單個任務(wù)效果更好）
• 端到端

CV

• LeNet-5 AlexNet VGG-16

• 殘差網(wǎng)絡(luò) ResNet

  
  

• 1x1 卷積

• inception

  
  

• 計算成本 用1x1卷積作為瓶頸層，可大大減少計算量

• 遷移學習

• 數(shù)據(jù)增強

• 物體檢測

1. 特定 x,y,w,d

2. 滑動窗口

   
   
   
   

   第一個全連接
   第二種方法卷積
   本質(zhì)一樣 5x5x16x400
   但第二種方法可以應(yīng)用于不同大小的圖察迟。
   計算一個方框內(nèi)是某物體的可能性時斩狱，第二種方法計算量增加很少（但邊框不精確）

   
   

3. YOLO
   改變標簽，圖像分割成多個小格子（推薦19x19）卷拘，標簽數(shù)據(jù)也隨時改變喊废。

   
   
   
   

   （個人設(shè)想延伸，一個大樣本分割成19x19個小樣本栗弟，訓練小樣本污筷。預測時也把圖片分割成小樣本，依次預測 效果可能不如直接YOLO好）

• IoU交并比 >0.5

• non-max suppression 對于不同的識別類別乍赫，獨立進行非最大抑制

  
  

• archor box 根據(jù)IoU確定在哪個anchor box中

  
  

• 整合之前的內(nèi)容

  
  
• RPN

• 人臉識別
  siamese network

  
  
  
  

  triplet 損失——訓練siamese網(wǎng)絡(luò)的方法一

  
  
  
  
  
  有點對抗網(wǎng)絡(luò)的思想

二分類——訓練siamese網(wǎng)絡(luò)的方法二

• 神經(jīng)風格遷移

  
  
  
  
  
  

  選擇已經(jīng)訓練好的模型
  內(nèi)容代價函數(shù)：參考兩個圖跑模型時其中間第l層（不要太淺也不要太深）的激活值瓣蛀，L2

  
  
  
  風格損失函數(shù)：計算同層不同channel的相關(guān)度，比較兩個圖相關(guān)度的差值雷厂。有權(quán)累加不同層的值惋增。
  

根據(jù)損失函數(shù)+BP 修改G圖，不修改模型

• 3D 1D卷積

RNN

• GRU

  
  
  
  

• LSTM

  
  

• BRNN

  
  

• DEEP RNN

  
  

詞語表示

• 詞嵌入 word embedding
  embedding matrix

  
  
  
  
  
  
  距離用余弦

生成embedding matrix

• 根據(jù)周圍多個改鲫，預測中間一個

  
  

• skip-gram模型 選擇nearby的一個诈皿，預測周圍范圍內(nèi)某個詞出現(xiàn)的概率

  
  

• word2vec算法

  
  

• 負采樣

  
  
  
  

• GloVe詞向量

  
  

• 詞向量應(yīng)用

  
  
  
  

• 偏見消除

  
  

• 定向搜索

• bleu得分

  
  
  
  

• 注意力模型

  
  
  
  

• 語音識別