在看文獻(xiàn)的過程中份汗，發(fā)現(xiàn)了集成學(xué)習(xí)并非簡單訓(xùn)練N個(gè)模型芯丧。在這N個(gè)模型之間腔彰，建立某種約束叫编，能夠提升集成學(xué)習(xí)的效率。這里的NCL：Negative correlation learning就是一個(gè)代表霹抛。
NCL負(fù)相關(guān)學(xué)習(xí)
- Liu, Yong, Xin Yao, and Tetsuya Higuchi. "Evolutionary ensembles with negative correlation learning." IEEE Transactions on Evolutionary Computation 4.4 (2000): 380-387.
- 這個(gè)文章有點(diǎn)歷史感覺搓逾。 通過引入NCL的概念，讓各個(gè)學(xué)習(xí)單元之間的差異盡量大杯拐。
- 好懂霞篡。但是在最后預(yù)測結(jié)果這個(gè)位置才讓差異化增大是不是會(huì)影響其作用。Entropy端逼。
- Shi, Zenglin, et al. "Crowd counting with deep negative correlation learning." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
- 作者將NCL的思路用在deep network上朗兵。
- 一種見解：其實(shí)deepnet的牛逼之處就是靠的集成學(xué)習(xí)（drop out），那么采用ensemble的高級(jí)方法當(dāng)然是很有可能提高性能表現(xiàn)的顶滩。
思考
- 多輸入余掖，多輸出，多模型礁鲁。對(duì)應(yīng)為：多模態(tài)盐欺，多任務(wù)赁豆，集成學(xué)習(xí)。能否存在一個(gè)統(tǒng)一的視角看待這三類問題冗美？Pls consider the relationship between the individuals and the group behavior.
- 多樣化的度量指標(biāo)有很多魔种，為何偏偏就是NCL呢？換成其他的會(huì)不會(huì)吊打NCL粉洼？
- 多樣化的約束一定要放在final output嗎务嫡？放在中間feature level 是不是也會(huì)吊打NCL？
