發(fā)簡(jiǎn)信
IP屬地：上海
-
Task08: 文本分類(lèi)腐芍；數(shù)據(jù)增強(qiáng)；模型微調(diào)文本情感分類(lèi) 作為nlp的常見(jiàn)任務(wù)，屬于詞嵌入模型的下游應(yīng)用赡鲜，情感分析應(yīng)用場(chǎng)景廣泛（也是我想寫(xiě)的方面） 使用CNN 一層卷積 時(shí)序最大池化層 T...
-
Task07：優(yōu)化算法進(jìn)階；word2vec；詞嵌入進(jìn)階
首先回顧下前面的知識(shí)點(diǎn)梯度下降的迭代公式如下其中是待訓(xùn)練的網(wǎng)絡(luò)參數(shù)，是學(xué)習(xí)率（有時(shí)也用表示）烹困，是一個(gè)常數(shù)，是梯度乾吻。以上是梯度下降法的最基本形式髓梅，...
-
Task06：批量歸一化和殘差網(wǎng)絡(luò)拟蜻；凸優(yōu)化；梯度下降批量歸一化（BatchNormalization） 對(duì)輸入的標(biāo)準(zhǔn)化（淺層模型） 處理后的任意一個(gè)特征在數(shù)據(jù)集中所有樣本上的均值為0枯饿、標(biāo)準(zhǔn)差為1酝锅。...
-
Task04：機(jī)器翻譯及相關(guān)技術(shù)；注意力機(jī)制與Seq2seq模型奢方；Transformer機(jī)器翻譯 機(jī)器翻譯（MT）：將一段文本從一種語(yǔ)言自動(dòng)翻譯為另一種語(yǔ)言搔扁，用神經(jīng)網(wǎng)絡(luò)解決這個(gè)問(wèn)題通常稱為神經(jīng)機(jī)器翻譯（NMT）。 主要特征：輸出是單...
-
Task03：過(guò)擬合蟋字、欠擬合及其解決方案稿蹲；梯度消失、梯度爆炸鹊奖；循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)階錯(cuò)題回顧 測(cè)試數(shù)據(jù)集不可以用來(lái)調(diào)整模型參數(shù)场绿，如果使用測(cè)試數(shù)據(jù)集調(diào)整模型參數(shù)，可能在測(cè)試數(shù)據(jù)集上發(fā)生一定程度的過(guò)擬合嫉入，此時(shí)將不能用測(cè)試誤差來(lái)近似泛...
-
Day 4 語(yǔ)言模型語(yǔ)言模型 一段語(yǔ)言模型可以看成一個(gè)離散時(shí)間序列 N-gram 假設(shè)序列, ,... 中的每個(gè)詞是依次生成的，我們有 = = n元語(yǔ)法 序列長(zhǎng)度增...
-
Day 3 梯度消失璧尸、梯度爆炸
知識(shí)點(diǎn)歸納 DP神經(jīng)網(wǎng)絡(luò)里應(yīng)該避免使用sigmoid或者tanh函數(shù)——>這兩個(gè)激活函數(shù)會(huì)把元素轉(zhuǎn)移到[0,1]和[-1,1]之間咒林，加速梯度消失...
-
Day2 過(guò)擬合、欠擬合以及解決方案
錯(cuò)題回顧 測(cè)試數(shù)據(jù)集不可以用來(lái)調(diào)整模型參數(shù)爷光，如果使用測(cè)試數(shù)據(jù)集調(diào)整模型參數(shù)垫竞，可能在測(cè)試數(shù)據(jù)集上發(fā)生一定程度的過(guò)擬合，此時(shí)將不能用測(cè)試誤差來(lái)近似泛...
-
Day 1 線性回歸蛀序；Softmax與分類(lèi)模型欢瞪、多層感知機(jī)挖坑 ??在家準(zhǔn)備論文，看到Datawhale發(fā)了14天動(dòng)手學(xué)習(xí)AI的宣傳徐裸，雖然沒(méi)帶筆記本回家遣鼓，網(wǎng)也不太好，還是決定試一下重贺。話不多說(shuō)骑祟，現(xiàn)在開(kāi)始。...