張逸宸 14020199023
【嵌牛觀察】周志華提出無分布學(xué)習(xí)
【嵌牛鼻子】無分布學(xué)習(xí)? ? ? 深度學(xué)習(xí)
【嵌牛提問】無分布學(xué)習(xí)較其他機(jī)器學(xué)習(xí)算法的優(yōu)勢献汗？
論文地址：https://arxiv.org/abs/1706.02471
? ? ? ? 在許多大規(guī)模機(jī)器學(xué)習(xí)應(yīng)用中户辞，數(shù)據(jù)會(huì)隨著時(shí)間而累積墩邀，因此癞蚕，一個(gè)合適的模型應(yīng)當(dāng)能以一種在線的范式而進(jìn)行更新。此外萌庆，因?yàn)樵跇?gòu)建模型時(shí)斥扛，總的數(shù)據(jù)量是未知的，因此人們希望使用獨(dú)立于數(shù)據(jù)量的存儲(chǔ)來對每個(gè)數(shù)據(jù)項(xiàng)進(jìn)行僅一次的掃描食茎。另外值得注意的是在數(shù)據(jù)累積過程中蒂破，其基礎(chǔ)分布可能會(huì)發(fā)生改變。為了應(yīng)對這樣的任務(wù)别渔，在這篇論文中附迷，周老師團(tuán)隊(duì)提出了 DFOP——無分布一次通過學(xué)習(xí)方法（distribution-free one-pass learning approach）。這種方法在數(shù)據(jù)累積過程中分布發(fā)生變化時(shí)效果良好哎媚，且無需有關(guān)該變化的先驗(yàn)知識(shí)喇伯。每個(gè)數(shù)據(jù)項(xiàng)一旦被掃描后就可以被拋棄了。此外拨与，理論保證（theoretical guarantee）也表明在一個(gè)輕微假設(shè)下的估計(jì)誤差（estimate error）會(huì)下降稻据，直到高概率地收斂。
? ? ? 具體算法如下：
實(shí)驗(yàn)結(jié)果：
圖 1: 在合成數(shù)據(jù)集上买喧，7 種方法在 holdout 精確度方面的表現(xiàn)對比捻悯。左邊是全部的 7 種方法；為了清晰淤毛，右邊只繪制了 RLS秋度、DWM 和 DFOP。
圖 2 ：在帶有分布變化的 4 個(gè)數(shù)據(jù)集上使用不同的遺忘因子的累積精確度
