給定無窮時(shí)序數(shù)據(jù)x...0,1...肪跋，
已知過去x...,0参淹，任一總結(jié)函數(shù)s0=f(x...,0)腊脱，可以得到狀態(tài)表象s...0,1,...访得。
提出問題：求最優(yōu)總結(jié)函數(shù)f0，使得互信息量I(s...0, s1...)最大陕凹。
解：I=H1... - H..0|1..
先看條件幾率P..0|1..悍抑，表示已知過去時(shí)將來的概率：
P..0|1.. = p..0|1 * p..1|2 * p..2|3 * ...
若f滿足p..0|1=pm..0|1, 則
P..0|1..=pm..0|1 * pm+1..1|2 * pm+2..2|3...
P..0,1..=p..0 * P..0|1.. = p..1 * pm+1..1|2 * pm+2..2|3... p1..1-m|2-m.. = p..1-m * p1..1-m|2-m..
P1..就是將..0積分掉，
p1..= p1..1-m * p1..1-m|2-m..
則I中p1..1-m|2-m..后面的項(xiàng)全減掉了, 所以
I = h1..1-m - (hm..0|1 + hm+1..1|2 +..+ h0..-m|1-m)
=I(m..0, 1..1-m)
就是說杜耙，全局I可由m..1-m范圍內(nèi)的s求得搜骡。特別當(dāng)m=0時(shí)，與0佑女，1的互信息量相等：
I(..0, 1..) = I(0, 1)记靡。
若f未知時(shí)，則m未知团驱，我們?nèi)我庠O(shè)定的m可能小于實(shí)際m摸吠，則求出的I有截?cái)啵瑒t比真實(shí)的I小嚎花，就會(huì)存在總結(jié)遺漏信息的情況蜕便，就需要why機(jī)制來找回因子。
