起初看馬爾科夫過程是想找一些方法解決現(xiàn)有實驗中的一個問題充边，但考察下來感覺不適合峡谊，但也把學習的東西記下來崖面。
馬爾科夫過程指的是一類隨機過程厚骗，該過程具有如下特性：在已知目前狀態(tài) (現(xiàn)在)的條件下椅寺，它未來的演變 (將來)不依賴于它以往的演變 ( 過去 ) 浑槽。在現(xiàn)實世界中蒋失，有很多過程都屬于馬爾可夫過程，例如布朗運動桐玻、謠言傳播篙挽、游樂園游玩人數(shù)等∧餮ィ花叢中的一只蜜蜂的采蜜過程是馬爾可夫過程的一個形象化的例子铣卡。蜜蜂依照它瞬間的念頭從一朵花上飛到另一朵花上采蜜，因為蜜蜂是沒有記憶的偏竟，當現(xiàn)在所處的花朵位置已知時煮落，它將來飛往何處和它以往呆過的花朵都無關。如果用X0,X1,X2,…分別表示蜜蜂剛開始采蜜的花朵以及將來去的采蜜的花朵苫耸，那么{Xt州邢，t≥0} 就是一個馬爾可夫過程儡陨。而Xt+1發(fā)生的概率只與Xt有關褪子。由此，我們可以得出馬爾科夫過程的公式：
馬爾科夫過程的公式
讓我們用天氣的預測來進一步解釋馬爾科夫過程的實際應用骗村。假設天氣的狀態(tài)有三種：晴天嫌褪，陰天，雨天胚股。而氣象學家和統(tǒng)計學家合力計算出來一個狀態(tài)轉(zhuǎn)換矩陣M笼痛，供預測天氣使用。這個矩陣表面琅拌，如果今天是陰天的話缨伊，明天還是陰天的概率是0.125。
天氣的狀態(tài)轉(zhuǎn)換矩陣M
我們暫且相信這個狀態(tài)轉(zhuǎn)換矩陣是相對正確的进宝。那么刻坊，問題來了，假設今天是晴天党晋，后天是雨天的概率是多少呢谭胚？如果我們假設天氣的狀態(tài)都只依賴于前一天的狀態(tài)，即馬爾科夫假設未玻，這樣就可以簡化天氣預測問題灾而。我們可以定義今天的天氣狀態(tài)向量為X0=[ 1,0,0 ] (晴天)。那么X2=X0MM（X2=X1M扳剿，X1=X0M）旁趟。
