1.神經(jīng)網(wǎng)絡(luò)不斷從線性變?yōu)榉蔷€性的過程，就是提取數(shù)據(jù)特征的過程儿捧。
這句話的意思是荚坞，神經(jīng)網(wǎng)絡(luò)通過多層的非線性變換，從原始的數(shù)據(jù)中提取出更有意義的特征菲盾。在神經(jīng)網(wǎng)絡(luò)的每一層中颓影，輸入數(shù)據(jù)通過權(quán)重和偏置的線性變換后，會經(jīng)過一個非線性函數(shù)亿汞，比如ReLU瞭空、sigmoid等揪阿，然后輸出到下一層疗我。這種非線性函數(shù)的引入使得神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到更加復(fù)雜的數(shù)據(jù)特征，而不僅僅是線性關(guān)系南捂。
舉個例子吴裤，假設(shè)我們要用神經(jīng)網(wǎng)絡(luò)來識別手寫數(shù)字。輸入數(shù)據(jù)是一張28x28的灰度圖像溺健，如果我們只使用線性變換麦牺，那么網(wǎng)絡(luò)很難學(xué)習(xí)到數(shù)字的形狀和結(jié)構(gòu)。但是，如果我們在每一層中添加非線性函數(shù)剖膳，比如ReLU魏颓，網(wǎng)絡(luò)就可以學(xué)習(xí)到數(shù)字的邊緣、角落吱晒、曲線等更加復(fù)雜的特征甸饱，從而提高識別的準(zhǔn)確率。
因此仑濒，可以說神經(jīng)網(wǎng)絡(luò)從線性變?yōu)榉蔷€性的過程叹话，就是在不斷地提取數(shù)據(jù)特征，以更好地完成各種任務(wù)墩瞳。
2.神經(jīng)網(wǎng)絡(luò)中非線性指的是判斷函數(shù)嗎
神經(jīng)網(wǎng)絡(luò)中驼壶，非線性通常是指激活函數(shù)是非線性的。激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一種非線性函數(shù)喉酌，用于對神經(jīng)元的輸出進(jìn)行非線性變換热凹。在神經(jīng)網(wǎng)絡(luò)中，每個神經(jīng)元豆?jié){輸入信號進(jìn)行加權(quán)和瞭吃，并加上一個偏置項碌嘀，然后通過激活函數(shù)將這個加權(quán)和的結(jié)果映射到神經(jīng)元的額輸出。這個非線性變換的過程是神經(jīng)網(wǎng)絡(luò)中非常重要的一部分歪架，因為它使神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到非線性的特征和模式股冗。
如果神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)是線性的，那么整個網(wǎng)絡(luò)就只能表示線性函數(shù)和蚪，無法學(xué)習(xí)到更加復(fù)雜的非線性關(guān)系止状。因此，在神經(jīng)網(wǎng)絡(luò)中攒霹， 通過會使用非線性的激活函數(shù)怯疤，比如sigmoid、ReLU催束、tanh等集峦，這些函數(shù)都是非線性的，可以使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到更加復(fù)雜的模式和特征抠刺。因此塔淤，說神經(jīng)網(wǎng)絡(luò)中的非線性指的是激活函數(shù)。
3.梯度
梯度是一個向量速妖，在數(shù)學(xué)上表示一個多元函數(shù)在某一點的變化率高蜂，也可以理解為函數(shù)在該點處的局部導(dǎo)數(shù)。在機(jī)器學(xué)習(xí)中罕容，梯度通常指的是損失函數(shù)對模型參數(shù)的偏導(dǎo)數(shù)备恤，用于指導(dǎo)我們?nèi)绾胃履Ｐ蛥?shù)稿饰，使得模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)更好。
假設(shè)我們有一個模型露泊，它的參數(shù)為w喉镰，損失函數(shù)為L(w)，我們的目標(biāo)是找到一組最優(yōu)的參數(shù)w*惭笑，使得在訓(xùn)練數(shù)據(jù)上的損失函數(shù)最小梧喷。梯度就是損失函數(shù)對參數(shù)w的偏導(dǎo)數(shù)，可以表示為：
?L(w) = [?L(w)/?w?, ?L(w)/?w?, ..., ?L(w)/?w?]
其中脖咐，n表示參數(shù)的個數(shù)铺敌。梯度向量的每個分量都表示損失函數(shù)在對應(yīng)參數(shù)方向上的變化率，可以告訴我們應(yīng)該如何更新模型參數(shù)屁擅，從而使得損失函數(shù)最小化偿凭。
在機(jī)器學(xué)習(xí)中，梯度的方向不一定是正的派歌。梯度的方向是指函數(shù)在某一點的變化最快的方向弯囊，也就是函數(shù)在該點處的局部導(dǎo)數(shù)的方向。在某些情況下胶果，梯度的方向可能是負(fù)的匾嘱，也就是函數(shù)在該點處的局部導(dǎo)數(shù)是負(fù)的，表示函數(shù)在該點下降的方向早抠。在這種情況下霎烙，我們需要朝著梯度的反方向更新模型參數(shù)，才能使得模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)更好蕊连。
