.
測(cè)試集中1000個(gè)樣本稚矿，600個(gè)是A類(lèi)庸诱，400個(gè)B類(lèi)，模型預(yù)測(cè)結(jié)果700個(gè)判斷為A類(lèi)晤揣，其中正確的有500個(gè)桥爽，300個(gè)判斷為B類(lèi)，其中正確的有200個(gè)昧识。請(qǐng)計(jì)算B類(lèi)的準(zhǔn)確率(Precision)和召回率(Recall).
準(zhǔn)確率：500/700,召回率500/600.
簡(jiǎn)述：A)訓(xùn)練模型時(shí)钠四，如果樣本類(lèi)別不均衡，有什么辦法解決? B)如何判斷模型是否過(guò)擬合? C)對(duì)于神經(jīng)網(wǎng)絡(luò)模型有哪些常用方法解決過(guò)擬合問(wèn)題?
A 樣本類(lèi)別不均衡時(shí)可以采用再縮放的策略跪楞，目前比較流行的是采用過(guò)采樣和欠采樣兩種采樣方式缀去，欠采樣是直接對(duì)訓(xùn)練集中的樣本較多類(lèi)別進(jìn)行去除操作，使得樣本數(shù)目接近甸祭，具有開(kāi)銷(xiāo)小的特點(diǎn)缕碎，代表是EasyEnsemble，利用集成學(xué)習(xí)池户。過(guò)采樣是通過(guò)增加類(lèi)別少的樣本數(shù)量阎曹，使得樣本數(shù)目接近，代表方法是插值smote算法
B 可以對(duì)模型進(jìn)行交叉驗(yàn)證煞檩，以觀察結(jié)果是否波動(dòng)較大
C 神經(jīng)網(wǎng)絡(luò)模型可以通過(guò) 減少 隱含層數(shù)量（神經(jīng)網(wǎng)路深度），減少隱含層神經(jīng)元數(shù)量栅贴、減少訓(xùn)練次數(shù)等降低過(guò)擬合問(wèn)題
A)包括不限于：1.數(shù)據(jù)增強(qiáng)斟湃，2. Weighted loss，3. 采樣使用部分負(fù)樣本
B)訓(xùn)練集loss低于驗(yàn)證集loss很多;
C)包括不限于：1. 正則化項(xiàng)檐薯，2. Dropout凝赛，3. Batch normalization
簡(jiǎn)述：A)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的激活函數(shù)作用是什么? B)Sigmoid, relu和softmax激活函數(shù)表達(dá)式是什么? C)各自的作用優(yōu)缺點(diǎn)是什么？
A 神經(jīng)網(wǎng)絡(luò)的激活函數(shù)是當(dāng)信息量達(dá)到一定數(shù)量時(shí)才能影響結(jié)果坛缕，即過(guò)濾掉弱信息墓猎，同時(shí)，也可以方式計(jì)算中出現(xiàn)的浮點(diǎn)運(yùn)算下溢
B sigmoid = 1/(1+exp(-x))
relu = max(0,x)
softmax = exp(z)/ 求和exp(zd)
C sigmoid 缺點(diǎn) 會(huì)使得函數(shù)飽和 造成梯度消失 并且不是以0為中心的 導(dǎo)致參數(shù)收斂速度很慢赚楚，影響訓(xùn)練效率毙沾，所以一般很少再神經(jīng)網(wǎng)絡(luò)中使用這個(gè)函數(shù) 優(yōu)點(diǎn) 近似概率估計(jì)
relu 優(yōu)點(diǎn) 梯度不飽和 正向傳播速度快，因?yàn)槠渲皇窃O(shè)置了閾值宠页，當(dāng) 值大于0時(shí)左胞，f(x) =x 對(duì)SGD的收斂有巨大的加速作用
缺點(diǎn)是 比較脆弱 容易受大梯度影響
softmax 一般用于多輸出神經(jīng)元 保證輸出神經(jīng)元之和為1
A)激活函數(shù)是為了增強(qiáng)神經(jīng)網(wǎng)絡(luò)的非線性性;
B)
C)Sigmoid函數(shù)可以增強(qiáng)0附近的梯度寇仓，放大信號(hào)，梯度計(jì)算方便烤宙，但對(duì)非敏感區(qū)域會(huì)飽和遍烦，造成梯度消失; Relu函數(shù)為單側(cè)抑制，增強(qiáng)稀疏性躺枕，避免梯度消失; Softmax函數(shù)用于多類(lèi)分類(lèi)問(wèn)題服猪，將輸出歸一化，方便計(jì)算基于概率的loss;
給定多層全連接神經(jīng)網(wǎng)絡(luò)拐云，每層均有n個(gè)節(jié)點(diǎn)罢猪，輸出層為第L層，標(biāo)簽是y慨丐，損失函數(shù)為均方誤差坡脐。網(wǎng)絡(luò)的第l層( l∈{1,2,…,L-1,L} )的第j個(gè)節(jié)點(diǎn)的輸入用 xjl 來(lái)表示，輸出用 ajl 來(lái)表示房揭，激勵(lì)函數(shù)為f(x)备闲。
A)請(qǐng)寫(xiě)出損失函數(shù)C的表達(dá)式；
B)請(qǐng)推導(dǎo)采用SGD訓(xùn)練捅暴，學(xué)習(xí)率為η時(shí)恬砂，第L-1層第i個(gè)節(jié)點(diǎn)與輸出層第j個(gè)節(jié)點(diǎn)的連接權(quán)重 wji(L-1) 的更新量 wji(L-1)
