批量歸一化(BatchNormalization) 對(duì)輸入的標(biāo)準(zhǔn)化(淺層模型) 處理后的任意一個(gè)特征在數(shù)據(jù)集中所有樣本上的均值為0、標(biāo)準(zhǔn)差為1费坊。...
深度卷積神經(jīng)網(wǎng)絡(luò)(AlexNet) LeNet: 在大的真實(shí)數(shù)據(jù)集上的表現(xiàn)并不盡如?意。1.神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜旬痹。2.還沒(méi)有?量深?研究參數(shù)初始化...
Convolutional Neural Networks 使用全連接層的局限性: 圖像在同一列鄰近的像素在這個(gè)向量中可能相距較遠(yuǎn)附井。它們構(gòu)成的模...
本節(jié)我們介紹卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)概念,主要是卷積層和池化層两残,并解釋填充永毅、步幅、輸入通道和輸出通道的含義人弓。 二維卷積層 本節(jié)介紹的是最常見(jiàn)的二維卷積...
梯度消失和梯度爆炸 深度模型有關(guān)數(shù)值穩(wěn)定性的典型問(wèn)題是消失(vanishing)和爆炸(explosion)。 當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)較多時(shí)崔赌,模型的數(shù)...
To be continued
語(yǔ)言模型 一段自然語(yǔ)言文本可以看作是一個(gè)離散時(shí)間序列意蛀,給定一個(gè)長(zhǎng)度為的詞的序列,語(yǔ)言模型的目標(biāo)就是評(píng)估該序列是否合理健芭,即計(jì)算該序列的概率:本節(jié)我...
循環(huán)神經(jīng)網(wǎng)絡(luò) 本節(jié)介紹循環(huán)神經(jīng)網(wǎng)絡(luò)县钥,下圖展示了如何基于循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)言模型。我們的目的是基于當(dāng)前的輸入與過(guò)去的輸入序列慈迈,預(yù)測(cè)序列的下一個(gè)字符...
文本是一類(lèi)序列數(shù)據(jù)若贮,一篇文章可以看作是字符或單詞的序列,本節(jié)將介紹文本數(shù)據(jù)的常見(jiàn)預(yù)處理步驟痒留,預(yù)處理通常包括四個(gè)步驟: 讀入文本 分詞 建立字典谴麦,...