動機:
前饋網(wǎng)絡(luò)能夠很好的訓(xùn)練靜止圖片的有監(jiān)督任務(wù)桂敛,但是不一定適合視頻數(shù)據(jù)爆安。
利用人類視覺系統(tǒng)惰聂,構(gòu)建了一個網(wǎng)絡(luò)不僅可以bottom-up前向傳播帖鸦,還可以top-down反饋傳播蹦误,以及側(cè)向傳播劫拢。
提出了兩種訓(xùn)練機制:無監(jiān)督的MatchNet和弱監(jiān)督的TempoNet
網(wǎng)絡(luò)通過學習運動線索以及如何在現(xiàn)在的場景自動追蹤多個物體,學到如何預(yù)測接下來的幀或者識別當前幀的內(nèi)容强胰。