2020 無人駕駛(4)

self_drive.jpg

首先我解釋一下為什么需要先說貝葉斯濾波和卡爾曼濾波呢温技，這是因為這些概念知識在隨后多處很用到，所以感覺有必要先把這些基礎理論說清楚，大家一步一個腳印走下去才不會遇到瓶頸而無法前進葛峻。

極大似然估計

簡單說一下似然估計薄辅，這個在機器學習中也是一個重要理論要拂。其實也可以這樣理解，我們還是通過一個例子進行說明解釋站楚，首先我們認為小事件 100 個球其中藍球 99 個紅球 1 個脱惰，然后計算藍球或紅球的概率分別是 99% 和 1%，這就是傳統(tǒng)經典概率窿春。100 球直到其中有紅球也有藍球拉一，知道藍球不是 99 個就是 1 個，也就是我們已經知道概率分布為紅球或藍球可能有種是 99 個球谁尸，另一個顏色球就是 1 個舅踪，在這種情況下纽甘，我們從任取一個球良蛮，發(fā)現是藍色的球。根據我們看到結果就可以推測分布情況為藍球 99% 而紅球 1%悍赢，這就是極大似然概率理論解釋决瞳。

$P(狀態(tài)|觀測) = \eta P(觀測|狀態(tài))P(狀態(tài))$

狀態(tài)和觀測

這里我們通常將觀測看作結果而將狀態(tài)看作原因，因為有了原因才有結果左权，也就是存在真實溫度我們才能進行測量得到測量值皮胡，測量值是真實溫度狀態(tài)的一種觀測到狀態(tài)的反映。后驗概率由果推因赏迟，也就是我們觀測到測量值后推測得到測量的原因屡贺。例如我們測量得到結果為 30.5 度，那么能夠產生 30.5 度測量值的原因概率是多少锌杀，也就是當測量值為 30.5 度真實值是 31 概率是多少甩栈、是 32 概率多少，是 30 度概率是多少糕再。

似然概率是由因推果量没，衡量哪一個原因最有可能導致這個結果的概率。

$后驗概率 \begin{cases} P(狀態(tài)_1|觀測)\\ P(狀態(tài)_2|觀測) \end{cases}$

$先驗概率 \begin{cases} P(觀測｜狀態(tài)_1)\\ P(觀測｜狀態(tài)_2) \end{cases}$

連續(xù)隨機變量的貝葉斯公式

$P(X < x | Y = y) = \frac{P(Y=y|X < x)P(X <x)}{P(Y=y)}$

其中 X < x 作為條件概率看起來好像有點奇怪也沒法求解突想，而且分母也是 0 如果不知道分母為什么為 0 需要看一看隨機變量的概率密度殴蹄。貝葉斯公式無法直接運用于連續(xù)隨機變量，可以利用化積分為求和對公式進行化簡猾担，因為積分本質就是無數個無窮小相加的結果袭灯。

$X < x$ 可以轉化為 $\sum_{u \rightarrow -\infty}^x X = u$ 所以我們就可以得到
$P(X<x|Y=y) = \sum_{u = -\infty}^x P(X=u|Y=y) = \sum_{u = -\infty}^x \frac{P(Y=y|X=u)P(X=u)}{P(Y=y)}$

因為如果有一定概率密度知識，大家都知道現在公式是分母和分子都是 0绑嘹，因為都是求連續(xù)函數某一點概率稽荧，其實也不是這樣，應該是無窮小圾叼，趨近于 0 而不是 0 那么兩個趨近于 0 的數相除可能不是 0 蛤克，所以我們可以反過來將無窮小寫成極限的形式捺癞。

$\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{P(y < Y < y + \epsilon|X=u)P(u < X < u + \epsilon)}{P(u < Y < u + \epsilon)}$

$\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{(f_{Y|X}(\xi_1|u)\epsilon)(f_X(\xi_2)\epsilon)}{f_Y(\xi_3)\epsilon}$

這里需要簡單解釋一下，我們將 Y 隨機變量取值變?yōu)閺?y 到 y 加上一個非常小 $\epsilon$ 來表示构挤，同理 X 隨機變量取值也變?yōu)閺?u 到 u 加上 $\epsilon$ 的區(qū)間髓介，這樣一來就不存在分母和分子同時為 0 然后我們可以用積分方式表示 $P(y < Y < y + \epsilon|X=u)$ 也就是 $\int_y^{y + \epsilon} f_{Y|X}(y|u)dy$ 然后用中值定理改寫公式為了 $(f_{Y|X}(\xi_1|u)\epsilon)$

這里可能大家已經忘記了定積分的定義，其實定積分就是為解決曲邊梯形面積而引入積分筋现，也就是通過在 a 到 b 間插入若干分點唐础。
$a = x_0 < x_1 < x_2 \cdots < x_{n-1} < x_n = b$
注意這些分點分割的距離可以是有大有小，并不一定需要等分矾飞。我們用 $\Delta x_1 ,\Delta x_2 ,\cdots \Delta x_n$ 分別來表示他們這些分點切割出來距離一膨。然后在每一個小區(qū)間內任取一個點，然后用這一點函數值作為高洒沦，用高度
$A = \Delta x_1 f(\xi_1) + \Delta x_2 f(\xi_2) + \cdots + \Delta x_n f(\xi_n)$
這樣可以用若干小矩形面積和來僅是曲邊梯形面積豹绪。

$\lim_{\lambda \rightarrow 0} \sum_{i=1}^n f(\xi_i) \Delta x_i \, \lambda = \max \{\Delta x_1,\Delta x_2, \cdots, \Delta_n \}$

我們先看 lambda 這里 lamba 是這些小區(qū)間中最大小區(qū)間的長度，當 lambda 趨于 0 也就表示這些小區(qū)間有無窮多個申眼，并且每一個小區(qū)間足夠小可以近似曲邊梯形的面積瞒津。所以我們上面公式這里積分公式類似可以通過推導將上面公式寫成積分形式。

$\begin{aligned} \xi_1 \in (y,y+\epsilon)\\ \xi_2 \in (u,u+\epsilon)\\ \xi_3 \in (y,y+\epsilon)\\ \end{aligned}$

$\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{f_{Y|X}(y|u)f_X(u)}{f_Y(y)} \epsilon$

$\int_{-\infty}^x \frac{f_{Y|X}(y|u)f_X(u)}{f_Y(y)}du = \int_{-\infty}^x \frac{f_{Y|X}(y|x)f_X(x)}{f_Y(y)}dx$

這里將 u 替換為 x 這是根據積分性質來的括尸，積分只與積分函數和積分區(qū)間有關巷蚪，與其他無關所以可以將 u 替換 x 表示更清楚。到現在為止我們就完成連續(xù)隨機變量貝葉斯公式的推導濒翻。

$P(X<x|Y=y) = \int_{-\infty}^x \frac{f_{Y|X}(y|x)f_X(x)}{f_Y(y)}dx$

我們也可以對后驗概率進行求解
$\int_{-\infty}^x f_{X|Y}(x|y)dx$
將后驗概率帶入上面連續(xù)隨機變量貝葉斯公式就得到下面的公式
$f_{X|Y}(x|y) = \frac{f_{Y|X}(y|x)f_X(x)}{f_Y(y)}$
這個公式看上去很舒服了吧屁柏，因為和我們之前看到離散隨機變量貝葉斯公式很相似。但是大家通過推導過程可以發(fā)現他們離散和連續(xù)隨機變量貝葉斯公式雖然最終結果很相似有送，但是推導過程確實不同的淌喻。

$\int_{-\infty}^x \frac{f_{Y|X}(y|u)f_X(u)}{f_Y(y)}du = \int_{-\infty}^x \frac{f_{Y|X}(y|x)f_X(x)}{f_Y(y)}dx$
這個是從概率分布角度來表示連續(xù)隨機變量貝葉斯公式

$f_{X|Y}(x|y) = \frac{f_{Y|X}(y|x)f_X(x)}{f_Y(y)}$
這個是從概率密度角度來表示連續(xù)隨機變量貝葉斯公式

大家一定對概率分布和概率密度進行區(qū)分，一旦混淆就可能造成對一些概念理解上的偏差娶眷。概率密度是Probability Density Function (PDF)而概率分布函數(CDF)

在連續(xù)隨機變量也可以將其寫成類似離散隨機變量的貝葉斯公式形式似嗤，也就是后驗概率與似然概率和先驗概率的乘積成比例
$f_{X|Y}(x|y) = \frac{f_{Y|X}(y|x)f_X(x)}{f_Y(y)} = \eta f_{Y|X}(y|x)f_X(x)$

要證明這個成立我們需要證明 $f_Y(y)$ 是一個常數

$f_Y(y) = \int_{-\infty}^{+ \infty} f(y,x)dx$
這里用到聯合概率密度與邊緣概率密度的關系。一個邊緣概率可以寫成聯合概率密度積分届宠。其實這個本質是連續(xù)隨機變量下全概率公式烁落。我們還是簡單說一下連續(xù)的聯合密度和邊緣密度，已經了解朋友可以跳過這里