整理了一下神經(jīng)網(wǎng)絡(luò)的一些知識點(diǎn). 不是很全. 只是作為一個(gè)總結(jié). 總結(jié)的時(shí)候發(fā)現(xiàn), Keras.io 真的是一個(gè)很好的工具文檔.

計(jì)算機(jī)視覺問題

1. 分類
   1. 衡量效果的Metrics
      1. Precision
      2. Recall
2. 目標(biāo)檢測(目標(biāo)定位)
   1. 衡量效果的Metrics
      1. Precision, 按照pycocotools的算法計(jì)算Precision. 基本思想是用 IoU(0.5, 0.6, 0.7) 圈定預(yù)測正確的標(biāo)準(zhǔn), 再統(tǒng)計(jì)True Positive, False Positive等. 另外, 根據(jù)目標(biāo)的大小, 也劃分了 Large, Medium, Small 三種不同類型的樣本. 以便分析優(yōu)劣.
      2. Recall
3. 語義分割(實(shí)例分割)
   1. 衡量效果的Metrics, 同目標(biāo)檢測的計(jì)算方法, 使用Pycocotools 提供的算法計(jì)算Recall.
4. 深度估計(jì)
   1. SILog. Scale invariant log error. 該衡量指標(biāo)類似于世 Pixel Wise Mean Square Log Error. 但是添加了 懲罰項(xiàng).

自然語言處理

1. 機(jī)器翻譯
2. 閱讀理解
3. Chatbot

Neural Network:

1. 全連接網(wǎng)絡(luò)(Fully Connected Layer)
   1. 經(jīng)典神經(jīng)網(wǎng)絡(luò). 可用于簡單的分類/回歸問題
2. CNN
   1. 解決圖像分類問題
      1. VGG-16 等開啟了使用CNN解決計(jì)算機(jī)視覺問題的先河
      2. 圖像分類問題, 貢獻(xiàn)了極多的調(diào)參經(jīng)驗(yàn). 以及極多的Backbone Network
   2. 解決目標(biāo)檢測問題
      1. Faster RCNN 引入了 Anchor Points 概念 Two Stage Detection
      2. Yolo. One Stage Detection.
      3. SDD(Single Shot Detector) One Stage Detection
   3. 解決語義分割問題
      1. U-Net. 簡潔有效, 運(yùn)行速度快的分割模型
      2. Mask RCNN. 效果好, 但是參數(shù)多, 模型結(jié)構(gòu)復(fù)雜, 運(yùn)行速度較慢的 RCNN 網(wǎng)絡(luò).
   4. 基本要素:
      1. Step, Stride, Padding
      2. Pooling層, 有Max Pooling, Average Pooling
3. RNN
   1. RNN
   2. LSTM (Long Short Term Memory)
4. 神經(jīng)網(wǎng)絡(luò)的基本構(gòu)造
   1. Feedforward 前向傳播網(wǎng)絡(luò)
      1. 激活函數(shù)
         1. ReLU
         2. Softmax
         3. tanh
         4. Sigmoid
      2. 網(wǎng)絡(luò)結(jié)構(gòu). 網(wǎng)絡(luò)結(jié)構(gòu)包括 全連接, 卷積,
      3. 權(quán)重初始化
         1. Random Init
         2. Zero Init
         3. Xavier Init (A.K.A. glorot_normal)
         4. He Init
   2. Loss Function 損失函數(shù).
      1. Cross Entropy
      2. Mean Square Error
      3. Mean Square Log Error
      4. Huber Loss
   3. Back Propagation 反向傳播
      1. SGD
      2. Adagrade
      3. RSMProp
      4. Adam
   4. 正則化. 所有解決過擬合問題的方法, 都可以稱之為正則化. Regularization.
      1. Dropout. 超參為Dropout Rate.
      2. L1 正則
      3. L2 正則
5. 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與調(diào)參
   1. Epoch. 訓(xùn)練集要訓(xùn)練多少遍.
   2. Batch Size, 理論上Batch Size越大越好, 但是也要考慮 內(nèi)存與算力限制.
   3. Learning Rate

監(jiān)督學(xué)習(xí)結(jié)果評估

1. Metrics
2. 過擬合與欠擬合分析.
   1. Bias 與 Variance 的概念. Bias 描述的是在某一個(gè)數(shù)據(jù)集(Train/Test/Validation) 上的準(zhǔn)確率. Variance 描述的是在不同數(shù)據(jù)集之間準(zhǔn)確率的差異.
   2. Bias 高, Variance 低, 說明欠擬合. Uderfitting
   3. Bias 低, Variance 高, 說明過擬合. Overfitting