http://blog.csdn.net/hjimce/article/details/50866313這篇文章不錯(cuò)
正則化的作用 正則化是為了防止過擬合采取的策略惰说,主要的正則化方法有L1逐工、L2蹲诀、dropout、dropconnect L2正則化 具體的公式如下: 也就是在原來的代價(jià)函數(shù)上加...
這個(gè)需要翻墻的外國網(wǎng)站寫的很好:http://ruder.io/optimizing-gradient-descent/index.html#momentum SGD遇到的問...
神經(jīng)網(wǎng)絡(luò)的參數(shù)也就是權(quán)重W很多譬猫,通過BP反向傳播可以逐漸得到使Cost Function最小的參數(shù),但是這些參數(shù)的初始值對(duì)于收斂的速度,最后的準(zhǔn)確率有很大的影響陌宿,那么我們應(yīng)該...
激活函數(shù)的作用 激活函數(shù)的作用是能夠給神經(jīng)網(wǎng)絡(luò)加入一些非線性因素,使得神經(jīng)網(wǎng)絡(luò)可以更好地解決較為復(fù)雜的問題波丰。我們知道神經(jīng)網(wǎng)絡(luò)的神經(jīng)元輸入的是x的線性組合wx+b壳坪,是線性的,當(dāng)...
前言 在七月初七情人節(jié),牛郎織女相見的一天茅撞,我終于學(xué)習(xí)了CNN(來自CS231n)春宣,感覺感觸良多,所以趕快記下來蝎亚,別忘了,最后祝大家情人節(jié)快樂5555555.正題開始! CN...
說明 QEM網(wǎng)格簡(jiǎn)化可以有效的減少復(fù)雜網(wǎng)格的頂點(diǎn)數(shù)同時(shí)保留原網(wǎng)格的拓?fù)涮卣飨裙荩梢宰远x減少后的頂點(diǎn)數(shù)发框,是十分重要的算法,在計(jì)算幾何領(lǐng)域煤墙,它實(shí)現(xiàn)的效果是這個(gè)樣子的: 優(yōu)點(diǎn) 1....
前言 小學(xué)期的項(xiàng)目梅惯,做之前不和我們說是工業(yè)級(jí)的保密算法宪拥,做之后,只有一篇論文铣减,還是紙質(zhì)版她君,沒有電子版,一個(gè)月的時(shí)間還有許多bug葫哗,但是盡力了缔刹。使用了Eigen3.0.0和fr...
批量梯度下降和隨機(jī)梯度下降是機(jī)器學(xué)習(xí)中很常用的學(xué)習(xí)方法,批量梯度下降更為準(zhǔn)確劣针,但是每一輪訓(xùn)練都要遍歷全部的樣本而隨機(jī)梯度下降則沒有這一問題校镐,但是他最后的結(jié)果會(huì)在局部最優(yōu)解附近...
前言 學(xué)習(xí)機(jī)器學(xué)習(xí)一直是用梯度下降法的灭翔,對(duì)于牛頓下降法并沒有什么了解,但是小學(xué)期同學(xué)的一個(gè)項(xiàng)目用到了牛頓下降法辣苏,同時(shí)好多大神同學(xué)的夏令營之旅問到了牛頓下降法(我等弱雞瘋狂被刷...
算法步驟 算法很簡(jiǎn)單一共4步: 1)隨機(jī)在圖中取K個(gè)種子點(diǎn)肝箱。2)然后對(duì)圖中的所有點(diǎn)求到這K個(gè)種子點(diǎn)的距離,假如點(diǎn)Pi離種子點(diǎn)Si最近稀蟋,那么Pi屬于Si點(diǎn)群煌张。(上圖中,我們可以...
前言 PCA是一種無參數(shù)的數(shù)據(jù)降維方法退客,在機(jī)器學(xué)習(xí)中很常用骏融,這篇文章主要從三個(gè)角度來說明PCA是怎么降維的分別是方差角度,特征值和特征向量以及SVD奇異值分解萌狂。 PCA的推導(dǎo)...
一些基礎(chǔ) 關(guān)于正交矩陣 正交矩陣是指各行所形成的多個(gè)向量間任意拿出兩個(gè),都能正交關(guān)系式档玻,正交矩陣的重要性質(zhì)是AT=A-1,向量正交是指兩個(gè)向量的內(nèi)積為0茫藏,也就是三維空間上兩個(gè)...
前言 大二學(xué)了線代误趴,講了特征值和特征向量,但是老師的暴力朗讀ppt真是讓我覺得夠了务傲,還有關(guān)于特征值和特征向量就是單純的公式求解凉当,為什么是這樣的一概不講,有什么用售葡,有什么意義一...
前言 看了麻省理工的線性代數(shù)的一部分課程看杭,主要是補(bǔ)補(bǔ)課,大二線代忘得差不多挟伙,主要目的是學(xué)習(xí)SVD楼雹,學(xué)習(xí)SVD之前補(bǔ)補(bǔ)前面的課,第一課就是LU分解了。 什么是LU分解 L是指下...