我要吹爆這本小紅書(shū)，拿在手里小小一本殉了，喜歡的不得了开仰。
由于常年沉迷各種Internet noval，閱讀速度比較快
周二下午拿到這本書(shū)薪铜，兩個(gè)小時(shí)就看了三章众弓，加上課多，看到周四上午終于看完了
所以做一下總結(jié) （這本書(shū)真的很適合入門(mén)者隔箍，用的也是最簡(jiǎn)單的MNIST dataset
————————正文——————————
1.numpy 模塊不匹配
先conda 安裝了matplotlib
就用conda uninstall進(jìn)行了卸載
然后pip 安裝
最后發(fā)現(xiàn)報(bào)錯(cuò)：
AttributeError: module 'numpy' has no attribute '__version__'
原因：
numpy 版本太高谓娃，換為1.31.1即可解決。
2. 章節(jié)內(nèi)容
第一章?
主要介紹了python常用解釋器（如算法計(jì)算蜒滩，數(shù)據(jù)類型滨达，變量奶稠，列表，字典捡遍，布爾型锌订，if for語(yǔ)句等），并對(duì)numpy和matplotlib進(jìn)行了簡(jiǎn)單介紹画株。Numpy是數(shù)組的天堂辆飘，matplotlib則是繪圖的天堂，這兩者也是這本書(shū)唯一調(diào)用的module
class 類:
class 類名：
? ? def__init(self,parameter1,parameter2...) # create function
? ? 方法名（self, paremeter1,...)? # 1st method
?? 方法名（self, paremeter1,...)? # 2nd method
調(diào)用numpy和matplotlib
import numpy as np
import matplotlib.pyplot as plt
one case:
image show:
import matplotlib.pyplot as plt
from matplotlib.image import imread
img = imread('lena.jpg')
plt.imshow(img)
plt.show()
第二章
主要圍繞感知機(jī)（perception）谓传，小白熟知蜈项，可以用來(lái)做與非門(mén)、異或門(mén)等等续挟。感知機(jī)是具有輸入和輸出的算法战得，給定一個(gè)輸入后，將輸出一個(gè)既定的值庸推。感知機(jī)將權(quán)重和偏置設(shè)定為參數(shù)常侦。單層感知機(jī)只能表示線性空間，而多層感知機(jī)可以表示非線性空間贬媒。
第三章
這章是神經(jīng)網(wǎng)絡(luò)初步聋亡，其重要性質(zhì)是它可以自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù)。介紹了sigmoid际乘、step等非線性激活函數(shù)坡倔。首先，兩者“平滑性”不同脖含，sigmoid函數(shù)輸出隨著輸入發(fā)生連續(xù)性變化罪塔，而階躍函數(shù)以0為界，輸出發(fā)生急劇性變化养葵。另外征堪，sigmoid函數(shù)可以返回連續(xù)的實(shí)數(shù)值信號(hào)，step function 只能返回二元信號(hào)关拒。兩者共同點(diǎn)：輸入小時(shí)佃蚜，輸出接近0；輸入大時(shí)着绊，輸出接近1谐算，且不管輸入信號(hào)的數(shù)值，輸出信號(hào)都在【0归露，1】之間洲脂。
注意：
激活函數(shù)必須使用非線性函數(shù)！＞绨（避免 y=c*c*c*x 與 y= ax等同恐锦，無(wú)法發(fā)揮多層網(wǎng)絡(luò)優(yōu)勢(shì)）
現(xiàn)在常用的是ReLU函數(shù)雇毫。。踩蔚。
隨后還涉及到numpy的一些skills
神經(jīng)網(wǎng)絡(luò)：
W2 = np.array([0.1,0.4],[0.2,0.5],[0.3,0.6])
B2 = np.array([0.1,0.2])
A1 = np.dot(X,W1) +B1
Z1= sigmod(A1) #隱藏層的加權(quán)和（加權(quán)信號(hào)和偏置的總和）用a表示棚放，被激活函數(shù)轉(zhuǎn)化后的信號(hào)用z表示。
A2 = np.dot(Z1,W2) + B2
Z2 = sigmoid(A2)
#對(duì)于輸出層馅闽，其所用的激活函數(shù)需要根據(jù)求解問(wèn)題的性質(zhì)決定飘蚯。一般地，回歸問(wèn)題可以使用恒等函數(shù)福也，二元分類問(wèn)題可以使用sigmoid函數(shù)局骤，多元分類問(wèn)題可以使用softmax函數(shù)。?
#恒等函數(shù)是將輸入按原樣輸出暴凑，對(duì)于輸入的信息峦甩，不加以任何改動(dòng)地直接輸出。
#softmax函數(shù)輸出層的各個(gè)神經(jīng)元都受到所有輸入信號(hào)的影響现喳。因?yàn)樯窠?jīng)網(wǎng)絡(luò)輸出最大值的神經(jīng)元位置不會(huì)變凯傲，因此在進(jìn)行分類時(shí)，輸出層的softmax函數(shù)可以省略嗦篱。
load_mnist(normalize=True,flatten=True,one_hot_label=False)
normalize：是否進(jìn)行歸一化
flatten：是否將其輸入圖像變?yōu)橐痪S數(shù)組
ont_hot_label:是否將標(biāo)簽保存為one-hot冰单，即僅正確解標(biāo)簽為1，其他皆為0
對(duì)于輸出層灸促，回歸問(wèn)題中一般用恒等函數(shù)诫欠，分類問(wèn)題中一般用softmax函數(shù)。
x_train.shape 60000,784
t_train.shape 60000,
x_test.shape 10000,784
t_test.shape 10000,
_______________
x.shape? (10000,784)
x[0].shape? (784,)
w1.shape (784,50)
w2.shape (50,100)
w3.shape (100,10)
Ｔ≡浴；牡稹！—————————————————————————
1. 需要把保存為Numpy數(shù)組的圖像數(shù)據(jù)轉(zhuǎn)換為PIL用的數(shù)據(jù)對(duì)象典鸡，因此需要通過(guò)image.fromarray（）來(lái)完成被廓。?
?img = Image.fromarry(np.uint8(img))
2. 進(jìn)行顯示圖像時(shí)，需要通過(guò)reshape（）方法的參數(shù)指定期望的形狀椿每，更改Numpy數(shù)組的形狀伊者。?
img=img.reshape(28,28)
3.np.argmax(x)取出數(shù)組中的最大值的索引。
p= np.argmax(x) 獲取數(shù)組中最大值元素的索引
np.argmax(x,axis=1)
沿著第一維方向（以一維為軸）找到值最大的元素的索引（第0維對(duì)應(yīng)第一個(gè)維度＜浠ぁ！挖诸！對(duì)于矩陣汁尺，第0維是列方向，第1維是行方向）
4. range函數(shù)
range(start,end）會(huì)生成一個(gè)有start到end-1之間的整數(shù)構(gòu)成的列表多律，若是像range（start痴突，end搂蜓，step），則是生成列表中的下一個(gè)元素會(huì)增加step指定的額數(shù)值辽装。
————————————————————
小節(jié)：
1）神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)使用平滑的sigmoid函數(shù)或RelU函數(shù)
2）通過(guò)巧妙地使用Numpy多維數(shù)組帮碰，可以高效地實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)
3）分類問(wèn)題，輸出層的神經(jīng)元的數(shù)量設(shè)置為要分類的類別數(shù)
4）輸入數(shù)據(jù)的集合稱為批拾积，通過(guò)以批為單位進(jìn)行推理處理殉挽，能夠?qū)嵭懈咚俚倪\(yùn)算。
第四章
奔入主題——神經(jīng)網(wǎng)絡(luò)
一些 points：
常用特征量包括SIFT拓巧、SURF斯碌、HOG，利用這些特征量將圖像數(shù)據(jù)轉(zhuǎn)換為向量肛度，再利用SVM傻唾、KNN等分類器進(jìn)行學(xué)習(xí)
(看起來(lái)是回過(guò)頭來(lái)又全忘了，看書(shū)的時(shí)候得到了很多啟發(fā)
mean squared error
cross entropy error
mini-batch：利用一部分樣本數(shù)據(jù)來(lái)近似地計(jì)算整體承耿。
network.numrical_gradient冠骄、network.gradient
！＜哟猴抹！_______________
1)np.random.choice()能夠從指定數(shù)字中隨機(jī)選擇想要的數(shù)字
2)np.log([np.arange(batch_size),t])生成一個(gè)從0到batch_size-1的數(shù)組。比方說(shuō)锁荔，batch_size為5蟀给，np.arange(batch_size)可以生成一個(gè)Numpy數(shù)組[0,1,2,3,4],因?yàn)閠中標(biāo)簽是[2,7,0,9,4]形式存儲(chǔ)的，所以y[np.arange(batch_size),t]能抽出各個(gè)數(shù)據(jù)的正確解標(biāo)簽對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)的輸出阳堕，即生成了Numpy數(shù)組的[y[0,2],y[1,7],y[0,2]...]
3) np.zeros_like(x)可以生成一個(gè)形狀和x相同跋理，所有元素都為0的數(shù)組。
———————————————————————
小節(jié)：
機(jī)器學(xué)習(xí)中使用的數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)
利用數(shù)值微分恬总，可以計(jì)算權(quán)重參數(shù)的梯度
第五章：誤差反向傳播（based computational graph
對(duì)常用加減乘數(shù)前普、softmax、ReLU等激活函數(shù)進(jìn)行了反向
affine
Ｒ佳摺Ｊ们洹！——————————
1）np.sum(): 對(duì)第0軸（以數(shù)據(jù)為單位的額軸贱纠，axis=0）方向上的元素進(jìn)行求和峻厚。
注：正向傳播時(shí)，偏置會(huì)被加到每一個(gè)數(shù)據(jù)上谆焊，因此惠桃，反向傳播時(shí)，各個(gè)數(shù)據(jù)的反向傳播的值需要匯總為偏置的元素，偏置的反向傳播會(huì)對(duì)各個(gè)數(shù)據(jù)的導(dǎo)數(shù)按元素進(jìn)行求和辜王。
2）神經(jīng)網(wǎng)絡(luò)進(jìn)行的處理有推理和學(xué)習(xí)兩個(gè)階段劈狐，但推理一般不適用softmax層，只需要給出一個(gè)結(jié)果呐馆。
————————————————————
總結(jié)：
1）計(jì)算圖的正向傳播由局部計(jì)算構(gòu)成肥缔，局部計(jì)算構(gòu)成全局計(jì)算。
2）計(jì)算圖的正向傳播進(jìn)行一般的計(jì)算汹来，通過(guò)計(jì)算圖的反向傳播续膳，可以計(jì)算各個(gè)節(jié)點(diǎn)的導(dǎo)數(shù)。
3）通過(guò)將神經(jīng)網(wǎng)絡(luò)的組成元素實(shí)現(xiàn)為層俗慈，可以高效地計(jì)梯度
4）通過(guò)比較數(shù)值微分和誤差反向傳播結(jié)果姑宽，可以確認(rèn)誤差反向傳播發(fā)的實(shí)現(xiàn)是否正確（梯度確認(rèn)）
第六章：與學(xué)習(xí)有關(guān)的技巧
參數(shù)更新方法：SGD、momentum闺阱、AdaGrad炮车、Adam
對(duì)初始值的討論，為了防止"權(quán)重均一化”或權(quán)重的對(duì)稱結(jié)果酣溃，必須隨機(jī)生成初始值瘦穆。
Batch normalization，加速學(xué)習(xí)赊豌，使得初始化變化不敏感
regularization（overfitting扛或、權(quán)值衰減、dropout
５獗Ｎ跬谩！——————————————————————————
1）各層的激活值的分布都要求具有適當(dāng)?shù)膹V度艾恼，因?yàn)橥ㄟ^(guò)在各層間傳遞多樣性的數(shù)據(jù)住涉，神經(jīng)網(wǎng)絡(luò)可以進(jìn)行高效地學(xué)習(xí)。反之钠绍，如果傳遞的是有所偏向的數(shù)據(jù)舆声，就會(huì)出現(xiàn)梯度消失或者表現(xiàn)力受限的問(wèn)題，導(dǎo)致學(xué)習(xí)可能無(wú)法順利進(jìn)行柳爽。
2）batch normalization 的優(yōu)點(diǎn)：
a）可以使學(xué)習(xí)快速進(jìn)行（可以增大學(xué)習(xí)率）
b) 不依賴初始值
c) 抑制過(guò)擬合（降低dropout等必要性）
3）regularazation
a)過(guò)擬合問(wèn)題
b)權(quán)值衰減
c)dropout：在學(xué)習(xí)過(guò)程中隨機(jī)刪除神經(jīng)元的方法媳握，訓(xùn)練時(shí)，隨機(jī)選出隱藏的神經(jīng)元磷脯，然后將其刪除蛾找。被刪除的神經(jīng)元不再進(jìn)行信號(hào)的傳遞。
4）超參數(shù)
逐漸縮小“好值”存在的范圍是搜索超參數(shù)的一個(gè)有效的方法
——————————————————————
第七章：卷積神經(jīng)網(wǎng)絡(luò)
CNN（convolutional neural network
與神經(jīng)網(wǎng)絡(luò)相比争拐，多了convalution 和pooling層
convalution：涉及到 padding（向周圍數(shù)據(jù)填入固定的數(shù)據(jù)）腋粥、stride（應(yīng)用濾波器的位置間隔）
pooling：涉及到 max 和 average? #max是從目標(biāo)區(qū)域中取出最大值晦雨，average是計(jì)算目標(biāo)區(qū)域的平均值架曹。在圖像識(shí)別領(lǐng)域隘冲，主要使用max池化
實(shí)現(xiàn)是通過(guò)： im2col (input_data, filter_h, filter_h, stride=1,pad=0) #把輸入數(shù)據(jù)展開(kāi)以適合濾波器
典型代表： LeNet（b祖）、AlexNet
1）LeNet：
進(jìn)行手寫(xiě)數(shù)字識(shí)別的網(wǎng)絡(luò)绑雄，具有連續(xù)的卷積層和池化層 （只抽選元素的子采樣層）展辞，最后經(jīng)由全連接層輸出結(jié)果。
和現(xiàn)在的CNN相比万牺，其采用sigmoid函數(shù)罗珍，現(xiàn)在主流用ReLU函數(shù)。
其使用子采樣（subsampling)縮小中間數(shù)據(jù)的大小脚粟，現(xiàn)在主流是Max池化
2）AlexNet
疊有多個(gè)卷積層和池化層覆旱，最后經(jīng)由全連接層輸出結(jié)果。
和LeNet的差異
激活函數(shù)使用ReLU
使用進(jìn)行局部正則化的LRN（Local response normalization)
使用Dropout
注意：
構(gòu)成CNN基本模塊的卷積層和池化層雖然有些復(fù)雜核无，但一旦理解了扣唱，之后就是如何使用它們的問(wèn)題了。
在圖像處理領(lǐng)域团南，幾乎毫無(wú)例外會(huì)使用CNN噪沙，請(qǐng)?jiān)鷮?shí)理解本章內(nèi)容。
小結(jié)：
CNN在此前的全連接層的網(wǎng)絡(luò)中新增了卷積層和池化層吐根。
使用im2col函數(shù)可以簡(jiǎn)單正歼、高效地實(shí)現(xiàn)卷積層和池化層。
通過(guò)CNN的可視化拷橘，可知隨著層次變深局义，提取的信息愈加高級(jí)。
LeNet和AlexNet是CNN的代表網(wǎng)絡(luò)
在深度學(xué)習(xí)中冗疮，大數(shù)據(jù)和GPU做出了很大貢獻(xiàn)萄唇。
———————————————————————
第八章：深度學(xué)習(xí)
簡(jiǎn)述 ImageNet 、VGG赌厅、GoogLeNet穷绵、ResNet
！Ｌ卦浮仲墨！疊加小型濾波器來(lái)加深網(wǎng)絡(luò)的好處是可以減少參數(shù)的數(shù)量，擴(kuò)大感受野(receptive field,給神經(jīng)元施加變化的某個(gè)局部空間區(qū)域）揍障。并且通過(guò)疊加層目养，將ReLU等激活函數(shù)夾在卷積層中間，進(jìn)一步提高了網(wǎng)絡(luò)的表現(xiàn)力毒嫡。這是因?yàn)橄蚓W(wǎng)絡(luò)添加了基于激活函數(shù)的“非線性”表現(xiàn)力癌蚁，通過(guò)非線性函數(shù)的疊加，可以表現(xiàn)更為復(fù)雜的東西。
ImageNet:
ImageNet是擁有超過(guò)100w張圖像的數(shù)據(jù)集努释，并且每一張圖像都關(guān)聯(lián)了label碘梢。每年都會(huì)舉辦關(guān)于這個(gè)數(shù)量級(jí)的ILSVRC圖像識(shí)別大賽。
其中一項(xiàng)是“classifiction"
VGG:
VGG是由卷積層和池化層構(gòu)成的基礎(chǔ)CNN伐蒂，其特點(diǎn)是將有權(quán)重的層（卷積層或全連接層）疊加到16層(或19層)煞躬，具有了深度（根據(jù)層的深度，有時(shí)也被成為VGG16 or VGG19）
需要注意逸邦，基于3×3的小型濾波器的卷積層運(yùn)算是連續(xù)進(jìn)行的恩沛，如“卷積層重疊2次到4次，再通過(guò)池化層將大小減半”
Googlenet：
不僅在縱向有深度缕减，在橫向上也有深度
ResNet:
具有比以前的網(wǎng)絡(luò)更深的結(jié)構(gòu)雷客，導(dǎo)入了“快捷結(jié)構(gòu)”調(diào)過(guò)了輸入數(shù)據(jù)的卷積層，將輸入x合計(jì)到輸出桥狡，反向傳播信號(hào)可以無(wú)衰減傳遞搅裙。
因?yàn)榭旖萁Y(jié)構(gòu)只是原封不動(dòng)地傳遞輸入數(shù)據(jù)，所以反向傳播時(shí)會(huì)將來(lái)自上游的梯度原封不動(dòng)地傳向下游总放。其重點(diǎn)是不對(duì)來(lái)自上游的梯度進(jìn)行任何處理呈宇，因此，基于快捷結(jié)構(gòu)局雄，不用擔(dān)心梯度會(huì)變猩摹（或者變大），能夠向前一層傳遞“有意義的深度”炬搭，通過(guò)此蜈漓，之前因?yàn)榧由顚佣鴮?dǎo)致的梯度變小的梯度消失問(wèn)題就有望得到緩解。
GPU宫盔、分布式融虽、位數(shù)精度的縮減，實(shí)現(xiàn)了精度學(xué)習(xí)的告訴化灼芭。
闡明方向： 物體檢測(cè)有额、圖像分割、圖像標(biāo)題生成
未來(lái)： 圖像分割變化彼绷、圖像生成巍佑、自動(dòng)駕駛、強(qiáng)化學(xué)習(xí)（注意寄悯，這本書(shū)發(fā)表于 2016年萤衰，這些未來(lái)方向確實(shí)得到驗(yàn)證，而2019年過(guò)去也只有34天了猜旬。
_____________本書(shū)閱讀 暫時(shí)over——————————————————
心語(yǔ)：經(jīng)過(guò)兩個(gè)月的瘋狂學(xué)習(xí)脆栋，深度學(xué)習(xí)浪潮下倦卖，確實(shí)人人都能會(huì)....接下來(lái)，如何拉開(kāi)差距呢椿争？
9月： adapting enviroment and lessons (so difficult and hard to learn)
10月: mechine learning video learning+GAN paper+MICCAI+ICCV? (paper month）
11月：anaconda怕膛、pycharm、cuda丘薛、cuddnn嘉竟、tensorflow邦危、pythorch setting? & Fixed-point GAN 洋侨、 STARGAN train and test （pratice month）
