用更少的bit來(lái)存參數(shù)眼耀，（例如32個(gè)bit改成16個(gè)bit）
把參數(shù)分群，用更少的bit來(lái)代表參數(shù)
-
通過(guò)霍夫曼編碼变泄，把出現(xiàn)頻率高的值用更少的bit來(lái)表示
只用正一負(fù)一兩個(gè)值來(lái)表示網(wǎng)絡(luò)。
存一組真實(shí)值的參數(shù)，還有二值化參數(shù)汁掠。
隨機(jī)初始化一組參數(shù)，通過(guò)最近的二值化參數(shù)計(jì)算梯度方向集币，根據(jù)方向優(yōu)化真實(shí)參數(shù)考阱，再找最接近的。知道最后一次找到真實(shí)參數(shù)最近的二值化參數(shù)鞠苟。
在論文中結(jié)果很好乞榨，有的數(shù)據(jù)集比真實(shí)參數(shù)錯(cuò)誤率還低。
有點(diǎn)像正則化当娱。
