張逸宸 14020199023
【嵌牛導(dǎo)讀】周志華團(tuán)隊提出無分布學(xué)習(xí)算法
【嵌牛鼻子】無分布學(xué)習(xí)? ? DFOP? ? 深度學(xué)習(xí)
【嵌牛提問】這種算法的優(yōu)越性列敲？
論文地址：https://arxiv.org/abs/1706.02471
? ? ? ? 在許多大規(guī)模機(jī)器學(xué)習(xí)應(yīng)用中逼龟，數(shù)據(jù)會隨著時間而累積不见，因此减细，一個合適的模型應(yīng)當(dāng)能以一種在線的范式而進(jìn)行更新程癌。此外纷妆，因為在構(gòu)建模型時亦镶，總的數(shù)據(jù)量是未知的，因此人們希望使用獨立于數(shù)據(jù)量的存儲來對每個數(shù)據(jù)項進(jìn)行僅一次的掃描灼狰。另外值得注意的是在數(shù)據(jù)累積過程中宛瞄，其基礎(chǔ)分布可能會發(fā)生改變。為了應(yīng)對這樣的任務(wù)交胚，在這篇論文中份汗，周老師團(tuán)隊提出了 DFOP——無分布一次通過學(xué)習(xí)方法（distribution-free one-pass learning approach）盈电。這種方法在數(shù)據(jù)累積過程中分布發(fā)生變化時效果良好，且無需有關(guān)該變化的先驗知識杯活。每個數(shù)據(jù)項一旦被掃描后就可以被拋棄了匆帚。此外，理論保證（theoretical guarantee）也表明在一個輕微假設(shè)下的估計誤差（estimate error）會下降旁钧，直到高概率地收斂吸重。
? ? ? 具體算法如下：
實驗結(jié)果：
圖 1: 在合成數(shù)據(jù)集上，7 種方法在 holdout 精確度方面的表現(xiàn)對比歪今。左邊是全部的 7 種方法嚎幸；為了清晰，右邊只繪制了 RLS彤委、DWM 和 DFOP鞭铆。
圖 2 ：在帶有分布變化的 4 個數(shù)據(jù)集上使用不同的遺忘因子的累積精確度
