1 resnet簡(jiǎn)介 ??關(guān)于resnet咽袜，網(wǎng)上有大量的文章講解其原理和思路沛简，簡(jiǎn)單來說，resnet巧妙地利用了shortcut連接搔预，解決了深度網(wǎng)絡(luò)中模型退化的問題。 2 論...
發(fā)簡(jiǎn)信
IP屬地：上海
-
resnet18 50網(wǎng)絡(luò)結(jié)構(gòu)以及pytorch實(shí)現(xiàn)代碼 -
【原創(chuàng)】復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)的反向傳播算法，及pytorch實(shí)現(xiàn)方法復(fù)函數(shù)的可導(dǎo)性 復(fù)變函數(shù)按照是否可導(dǎo)文狱，分為全純函數(shù)holomothic和nonholomophic，判斷條件為Cauchy-Riemann方程掂为。 對(duì)于不可導(dǎo)的nonholom...
-
AI的輸出
當(dāng)一個(gè)AI系統(tǒng)能產(chǎn)生有物理意義的輸出（分類裕膀，文字，音視勇哗，動(dòng)作）時(shí)昼扛，該系統(tǒng)性能才是可衡量的。 若系統(tǒng)無物理輸出欲诺，而只有隱變量的輸出抄谐，由于隱變量沒有明確的物理含義，所以我們無從判...
-
時(shí)序數(shù)據(jù)預(yù)測(cè)模型
給定無窮時(shí)序數(shù)據(jù)x...0,1...扰法， 已知過去x...,0蛹含，任一總結(jié)函數(shù)s0=f(x...,0)，可以得到狀態(tài)表象s...0,1,...塞颁。 提出問題：求最優(yōu)總結(jié)函數(shù)f0浦箱，使...
-
一種新的rnn：NRU 非飽和循環(huán)網(wǎng)絡(luò)
RNN目標(biāo)是解決序列數(shù)據(jù)的學(xué)習(xí)問題吸耿，方法是每一刻給所有歷史一個(gè)總結(jié)：Si = f(xi, Si_1);這就是一種狀態(tài)機(jī)。 對(duì)RNN唯一的約束就是長程相關(guān)性：當(dāng)前Sn狀態(tài)允許對(duì)...
-
why機(jī)制=信息收集機(jī)制
當(dāng)數(shù)據(jù)以序列輸入時(shí)酷窥，長期信息記憶和收集能力就是必須的咽安。 當(dāng)d(y,y~)較大時(shí)，人就會(huì)感到奇怪蓬推，尋因的過程就是why也就是收集信息妆棒。 長期記憶存儲(chǔ)方式k->v，也是以方便檢索...
-
注意力機(jī)制與鏈?zhǔn)綏l件幾率
我們的目標(biāo)是給定X沸伏，求Y的分布：P(Y|X)糕珊，其中X，Y是多維向量馋评。 實(shí)際情況中放接，y1可能和x1關(guān)系更大，y2和x3,x5更相關(guān)... 所以我們改寫P(Y|X) = p(y1...
-
深度學(xué)習(xí)環(huán)境搭建 - 1 攢機(jī)
在2個(gè)網(wǎng)站上模擬攢機(jī)纠脾，配了臺(tái)機(jī)器：http://zj.zol.com.cn/https://pcpartpicker.com/（會(huì)自動(dòng)幫你查兼容性） 一個(gè)國內(nèi)一個(gè)國外，參照著...