神經(jīng)元（Neuron）
就像形成我們大腦基本元素的神經(jīng)元一樣璃俗，神經(jīng)元形成神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)奴璃。想象一下，當(dāng)我們得到新信息時(shí)我們該怎么做城豁。當(dāng)我們獲取信息時(shí)苟穆，我們一般會處理它，然后生成一個(gè)輸出唱星。類似地鞭缭，在神經(jīng)網(wǎng)絡(luò)的情況下，神經(jīng)元接收輸入魏颓，處理它并產(chǎn)生輸出岭辣，而這個(gè)輸出被發(fā)送到其他神經(jīng)元用于進(jìn)一步處理，或者作為最終輸出進(jìn)行輸出甸饱。
權(quán)重（Weights）
當(dāng)輸入進(jìn)入神經(jīng)元時(shí)沦童，它會乘以一個(gè)權(quán)重。例如叹话，如果一個(gè)神經(jīng)元有兩個(gè)輸入偷遗，則每個(gè)輸入將具有分配給它的一個(gè)關(guān)聯(lián)權(quán)重。我們隨機(jī)初始化權(quán)重驼壶，并在模型訓(xùn)練過程中更新這些權(quán)重氏豌。訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對其輸入賦予較高的權(quán)重，這是它認(rèn)為與不那么重要的輸入相比更為重要的輸入热凹。為零的權(quán)重則表示特定的特征是微不足道的泵喘。
神經(jīng)網(wǎng)絡(luò)（Neural Network）
神經(jīng)網(wǎng)絡(luò)構(gòu)成了深度學(xué)習(xí)的支柱。神經(jīng)網(wǎng)絡(luò)的目標(biāo)是找到一個(gè)未知函數(shù)的近似值般妙。它由相互聯(lián)系的神經(jīng)元形成纪铺。這些神經(jīng)元具有權(quán)重和在網(wǎng)絡(luò)訓(xùn)練期間根據(jù)錯(cuò)誤來進(jìn)行更新的偏差。激活函數(shù)將非線性變換置于線性組合碟渺，而這個(gè)線性組合稍后會生成輸出鲜锚。激活的神經(jīng)元的組合會給出輸出值。
輸入/輸出/隱藏層（Input / Output / Hidden Layer）
正如它們名字所代表的那樣苫拍，輸入層是接收輸入那一層芜繁，本質(zhì)上是網(wǎng)絡(luò)的第一層。而輸出層是生成輸出的那一層绒极，也可以說是網(wǎng)絡(luò)的最終層骏令。處理層是網(wǎng)絡(luò)中的隱藏層。這些隱藏層是對傳入數(shù)據(jù)執(zhí)行特定任務(wù)并將其生成的輸出傳遞到下一層的那些層集峦。輸入和輸出層是我們可見的伏社，而中間層則是隱藏的抠刺。
MLP（多層感知器）
單個(gè)神經(jīng)元將無法執(zhí)行高度復(fù)雜的任務(wù)。因此摘昌，我們使用堆棧的神經(jīng)元來生成我們所需要的輸出速妖。在最簡單的網(wǎng)絡(luò)中，我們將有一個(gè)輸入層聪黎、一個(gè)隱藏層和一個(gè)輸出層罕容。每個(gè)層都有多個(gè)神經(jīng)元，并且每個(gè)層中的所有神經(jīng)元都連接到下一層的所有神經(jīng)元稿饰。這些網(wǎng)絡(luò)也可以被稱為完全連接的網(wǎng)絡(luò)锦秒。
學(xué)習(xí)率（Learning Rate）
學(xué)習(xí)率被定義為每次迭代中成本函數(shù)中最小化的量。簡單來說喉镰，我們下降到成本函數(shù)的最小值的速率是學(xué)習(xí)率旅择。我們應(yīng)該非常仔細(xì)地選擇學(xué)習(xí)率，因?yàn)樗粦?yīng)該是非常大的侣姆，以至于最佳解決方案被錯(cuò)過生真，也不應(yīng)該非常低，以至于網(wǎng)絡(luò)需要融合捺宗。
濾波器（Filters）
CNN中的濾波器與加權(quán)矩陣一樣柱蟀，它與輸入圖像的一部分相乘以產(chǎn)生一個(gè)回旋輸出。我們假設(shè)有一個(gè)大小為28 * 28的圖像蚜厉，我們隨機(jī)分配一個(gè)大小為3 * 3的濾波器长已，然后與圖像不同的3 * 3部分相乘，形成所謂的卷積輸出昼牛。濾波器尺寸通常小于原始圖像尺寸术瓮。在成本最小化的反向傳播期間，濾波器值被更新為重量值匾嘱。
卷積神經(jīng)網(wǎng)絡(luò)（CNN）
卷積神經(jīng)網(wǎng)絡(luò)基本上應(yīng)用于圖像數(shù)據(jù)斤斧。假設(shè)我們有一個(gè)輸入的大小（28 * 28 * 3）霎烙，如果我們使用正常的神經(jīng)網(wǎng)絡(luò)，將有2352（28 * 28 * 3）參數(shù)蕊连。并且隨著圖像的大小增加參數(shù)的數(shù)量變得非常大悬垃。我們“卷積”圖像以減少參數(shù)數(shù)量（如上面濾波器定義所示）。當(dāng)我們將濾波器滑動到輸入體積的寬度和高度時(shí)甘苍，將產(chǎn)生一個(gè)二維激活圖尝蠕，給出該濾波器在每個(gè)位置的輸出。我們將沿深度尺寸堆疊這些激活圖载庭，并產(chǎn)生輸出量看彼。
循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）
循環(huán)神經(jīng)網(wǎng)絡(luò)特別用于順序數(shù)據(jù)廊佩，其中先前的輸出用于預(yù)測下一個(gè)輸出。在這種情況下靖榕，網(wǎng)絡(luò)中有循環(huán)标锄。隱藏神經(jīng)元內(nèi)的循環(huán)使他們能夠存儲有關(guān)前一個(gè)單詞的信息一段時(shí)間，以便能夠預(yù)測輸出茁计。隱藏層的輸出在t時(shí)間戳內(nèi)再次發(fā)送到隱藏層料皇。展開的神經(jīng)元看起來像上圖。只有在完成所有的時(shí)間戳后星压，循環(huán)神經(jīng)元的輸出才能進(jìn)入下一層践剂。發(fā)送的輸出更廣泛，以前的信息保留的時(shí)間也較長娜膘。
