1.為什么self.dense0(x)這個(gè)沒有報(bào)錯(cuò)，已經(jīng)在初始化之后指定了參數(shù)碘耳，而且nn.Dense反返回的是張量薄扁。
不懂這種用法：不過可以理解為256是定義網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)，下面的x表示網(wǎng)絡(luò)的輸入
mili的回答:dense0是一個(gè)class的實(shí)例尿瞭。dense0(x)屬于operator 重載声搁，它實(shí)際上是調(diào)用dense0.forward(x)
2.卷積神經(jīng)網(wǎng)絡(luò)的通道
卷積操作的過程這個(gè)通道是如何變化的：【以mxnet中四維的矩陣為例】
需要理解卷積操作疏旨，卷積核大小檐涝，作用（降維）法挨，在mxnet中的nn.conv2D函數(shù)中第一個(gè)參數(shù)channels是卷積的輸出通道數(shù)凡纳，或者是nn.Convlution函數(shù)中的num-filter表示輸出通道數(shù)惫企；而通道有這樣的性質(zhì)：多個(gè)通道的時(shí)候陵叽，每個(gè)通道會(huì)? n有對(duì)應(yīng)的權(quán)重巩掺；此處的權(quán)重形狀與卷積核的形狀相同【第一個(gè)參數(shù)是輸出通道數(shù)胖替，第二個(gè)參數(shù)是輸入通道數(shù)独令，第三四個(gè)參數(shù)就是卷積核的寬、高】冲呢，按元素進(jìn)行運(yùn)算之后加和得到新的矩陣敬拓。且下一層卷積的輸入通道數(shù)需要等于上一層卷積輸出的通道數(shù)乘凸！
3.在numpy和mxnet的ndaray中的數(shù)組都會(huì)出現(xiàn)軸的概念营勤，axis
牢記一點(diǎn)：只要按照axis=1的運(yùn)算或者操作冀偶，那么axis=1的結(jié)果1軸的維度必然改變渔嚷。從兩個(gè)2×3變成4×3的矩陣
3.GooLeNet的組成：
1*1表示提取最細(xì)的信息，3*3提取稍大塊的信息量瓜，5*5提取更大的信息绍傲；maxpool以里外一種方式來(lái)取信息耍共；
綠色的卷積是為了轉(zhuǎn)換輸入试读，改變通道數(shù)钩骇；使得最后可以按照通道數(shù)concat在一起
4.反向傳播和正向傳播【相輔相成，反向傳播有時(shí)候需要正向傳播的值? 】
前向傳播：假設(shè)輸入X形狀是x×1，h形狀是h×1务蝠，o的形狀是y×1请梢，那么可以知道w(1)的形狀是h×x;
其中h的函數(shù)是對(duì)結(jié)果z毅弧，按照元素來(lái)進(jìn)行操作当窗！
s是正則化項(xiàng)：w的各個(gè)元素平方和崖面，j是損失和正則化的加和巫员，也就是總誤差简识！
反向傳播：從最后開始，就是先s和L陪白，再o咱士。序厉。脂矫。庭再。拄轻。
①讓J 對(duì) s 和 L求導(dǎo)斧抱，如圖
②對(duì)o求導(dǎo)辉浦；利用①
③對(duì)w(2)求導(dǎo)宪郊，其中h的轉(zhuǎn)置是因?yàn)槠渌鼌?shù)的形狀固定了，所以需要將h轉(zhuǎn)置
④對(duì)z求導(dǎo)乎串，利用到了元素乘法灌闺，即對(duì)兩個(gè)矩陣對(duì)應(yīng)的元素相乘得到的桂对。
在循環(huán)神經(jīng)網(wǎng)絡(luò)上運(yùn)用反向傳播：
其中L對(duì)Ht的求導(dǎo)函數(shù)的通項(xiàng)公式是:通過遞推公式進(jìn)行歸納！
