minlover

一料饥、李進(jìn)-廣州大學(xué)-AI安全 1软吐、信息系統(tǒng)安全三個(gè)屬性：完整性、可用性实夹、機(jī)密性 AI攻擊主要考慮兩方面工作：逃逸攻擊、投毒攻擊（數(shù)據(jù)中毒攻擊）妨托。使模型不能正常的預(yù)測(cè) AI機(jī)密...

minlover

參考鏈接：http://www.reibang.com/p/22c50ded4cf7[http://www.reibang.com/p/22c50ded4cf7]

minlover

【總結(jié)】 當(dāng)數(shù)值過大或者過小時(shí)會(huì)導(dǎo)致數(shù)值問題圈纺； 常發(fā)生在深度模型中秦忿，因?yàn)槠鋾?huì)對(duì)n個(gè)數(shù)累乘。 合理的權(quán)重初始值和激活函數(shù)的選取可以提升數(shù)值穩(wěn)定性蛾娶。（使每一層的輸出和每一層的梯度...

minlover

https://blog.csdn.net/weixin_43398590/article/details/106911052[https://blog.csdn.net/w...

minlover

【總結(jié)】 權(quán)重衰退通過L2正則項(xiàng)使得模型參數(shù)不會(huì)過大灯谣，從而控制模型復(fù)雜度。 正則項(xiàng)權(quán)重是控制模型復(fù)雜度的超參數(shù)蛔琅。 丟棄法將一些輸出項(xiàng)隨機(jī)置0來(lái)控制模型復(fù)雜度胎许。 常作用在多層感...

minlover

【總結(jié)】 訓(xùn)練數(shù)據(jù)集：訓(xùn)練模型參數(shù)； 驗(yàn)證數(shù)據(jù)集：選擇模型超參數(shù)辜窑。 非大數(shù)據(jù)集上通常使用k-折交叉驗(yàn)證钩述。 模型容量需要匹配數(shù)據(jù)復(fù)雜度，否則可能導(dǎo)致欠擬合和過擬合穆碎。 統(tǒng)計(jì)機(jī)器學(xué)...

minlover

【總結(jié)】 感知機(jī)是一個(gè)二分類的問題牙勘，是最早的AI模型之一。 它的求解算法等價(jià)于使用批量大小為1的梯度下降惨远。 它不能擬合XOR函數(shù)谜悟，導(dǎo)致第一次AI寒冬。 多層感知機(jī)使用隱藏層和...

minlover

一北秽、損失函數(shù) 損失函數(shù)葡幸，用來(lái)衡量預(yù)測(cè)值和真實(shí)值之間的區(qū)別。 1贺氓、均方損失（L2 Loss） 橫坐標(biāo)應(yīng)該是y-y'蔚叨。藍(lán)色曲線是：真實(shí)值y不變時(shí)，變化預(yù)測(cè)值y'的曲線辙培，是一個(gè)二次...

minlover

【總結(jié)】 softmax是一個(gè)多類的分類問題蔑水。 使用softmax操作子得到每個(gè)類的預(yù)測(cè)置信度。 使用交叉熵來(lái)衡量預(yù)測(cè)和標(biāo)號(hào)的區(qū)別扬蕊。 1搀别、回歸與分類 回歸：預(yù)測(cè)一個(gè)連續(xù)值 分...

minlover

1、線性模型 輸出層不算一層尾抑，因?yàn)椴粠?quán)重歇父。 訓(xùn)練數(shù)據(jù)：收集數(shù)據(jù)點(diǎn)來(lái)決定參數(shù)值（權(quán)重和偏差）。 數(shù)據(jù)在每個(gè)樣本上損失的均值： 線性模型有顯示解再愈。 因?yàn)榫€性模型榜苫，所以損失是一個(gè)...

minlover

1、向量鏈?zhǔn)椒▌t 內(nèi)積<x,w>=x^T*w=[x1*w1,x2*w2,...xn*wn]是個(gè)標(biāo)量翎冲，標(biāo)量對(duì)向量求導(dǎo)垂睬，是向量的轉(zhuǎn)置維度 2、自動(dòng)求導(dǎo) （1）神經(jīng)網(wǎng)絡(luò)動(dòng)不動(dòng)幾百層...

minlover

導(dǎo)數(shù)是切線的斜率驹饺。對(duì)x求導(dǎo)： 亞導(dǎo)數(shù)： 梯度： ①x是列向量，y是標(biāo)量：標(biāo)量關(guān)于列向量的導(dǎo)數(shù)是行向量 上圖右下角檐春，內(nèi)積關(guān)于向量的導(dǎo)數(shù)逻淌。結(jié)果是一個(gè)行向量乘一個(gè)矩陣+另一個(gè)行向量...

minlover

標(biāo)量的長(zhǎng)度就是其絕對(duì)值。 向量： 矩陣： 對(duì)于矩陣疟暖，一般用F范數(shù)（因?yàn)榫仃嚪稊?shù)算起來(lái)比較麻煩） 一個(gè)矩陣是正定的卡儒，那個(gè)這個(gè)矩陣乘以任何一個(gè)列向量和一個(gè)行向量田柔，一定大于等于0。...

minlover

參考鏈接：https://blog.csdn.net/qq_38680405/article/details/118699677[https://blog.csdn.net/...

minlover

教程鏈接：https://www.freesion.com/article/7398508321/[https://www.freesion.com/article/7398...

minlover

1劣光、n維數(shù)組 N維數(shù)組(也稱為張量tensor)是機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的主要數(shù)據(jù)結(jié)構(gòu)袜蚕。 2維：例如圖中，三個(gè)樣本绢涡，每一行是一個(gè)樣本牲剃，每一列是不同的特征。 3維雄可，例如RGB圖片凿傅，...