機(jī)器學(xué)習(xí)基礎(chǔ)之參數(shù)估計(jì)

一绢要、參數(shù)估計(jì)

對(duì)所要研究的隨機(jī)變量 $\xi$ 映跟，當(dāng)它的概率分布的類型已知，但是參數(shù)未知扬虚，比如 $\xi$ 服從正太分布 $N(\alpha, \sigma)$ 。但是 $\alpha, \sigma$ 這兩個(gè)參數(shù)未知球恤。那么這么確定這些未知參數(shù)呢辜昵？我們可以通過采樣的方式，得到一批樣本數(shù)據(jù)咽斧，用樣本的統(tǒng)計(jì)量來估計(jì)總體的統(tǒng)計(jì)量堪置。那么這種方式就是參數(shù)估計(jì)。

我們先來看一種簡(jiǎn)單的估計(jì)张惹。

矩法估計(jì)：設(shè)總體 $\xi$ 的分布函數(shù) $F(x; \theta_1,\theta_2, ..., \theta_l)$ 中 $l$ 個(gè)未知參數(shù) $\theta_1,\theta_2, ..., \theta_l$ 舀锨。假定總體 $\xi$ 的 $l$ 階原點(diǎn)絕對(duì)矩有限，并記 $v_k=E(\xi^k) (k=1,2,...,l)$ ⊥鸲海現(xiàn)用樣本的k階原點(diǎn)矩來作為總體的k階矩的估計(jì)量 $\hat{v}_k$ 坎匿。即
$v_k=\hat{v}_k=\frac{1}{n}\sum_{i=1}^n\xi_i^k$

那么通過樣本的估計(jì)量，我們就可以估計(jì)出總體的一些參數(shù)雷激。

比如假設(shè) $\xi$ 服從一個(gè)分布（不管什么分布）替蔬， $E(\xi)=\alpha, D(\xi)=\sigma^2$ 。但其值未知屎暇，則由樣本的一階矩承桥、二階矩

$\hat{v}_1=\frac{1}{n}\sum_{i=1}^n\xi_i=\overline{\xi}$

$\hat{v}_2=\frac{1}{n}\sum_{i=1}^n\xi^2_i$

總體的一階矩、二階矩

$v_1=E(\xi^1)=\alpha, v_2=E(\xi^2)=D(\xi)+(E(\xi))^2=\sigma^2+\alpha^2$

令 $v_1=\hat{v}_1, v_2=\hat{v}_2$ , 就可以解出參數(shù) $\alpha, \sigma$ 的值.

$\hat{\alpha}=\overline{\xi}\\ \hat{\sigma^2}=\frac{1}{n}\sum_{i=1}^n\xi^2_i-(\overline{\xi}^2)=\frac{1}{n}\sum_{i=1}^n(\xi_i-\overline{\xi})^2=S^2$

二根悼、極大似然估計(jì)（Maximum Likelihood Estimate）

矩法估計(jì)要求隨機(jī)變量 $\xi$ 的原點(diǎn)矩存在凶异。再者，樣本矩的表達(dá)式用總體 $\xi$ 的分布函數(shù)表達(dá)式無關(guān)挤巡，因此矩法估計(jì)沒有充分利用分布函數(shù)對(duì)參數(shù)提供的信息剩彬。所以很多時(shí)候我們采用極大似然估計(jì)

（極大似然估計(jì)）設(shè)總體的 $\xi$ 的密度函數(shù)為 $f(x;\theta_1, \theta_2, ..., \theta_l)$ ，其中 $\theta_1, \theta_2, ..., \theta_l$ 為未知參數(shù)玄柏。 $\xi_1, \xi_2, ..., \xi_n$ 為樣本襟衰，它的聯(lián)合密度函數(shù)為 $f(x_1, x_2, ..., x_n;\theta_1, \theta_2, ..., \theta_l)$ 。
稱

$L(\theta_1, \theta_2, ..., \theta_l)=\prod_{i=1}^nf(x_i; \theta_1, \theta_2, ..., \theta_l)$ 為 $\theta_1, \theta_2, ..., \theta_l$ 的似然函數(shù)粪摘。若有 $\hat{\theta_1}, \hat{\theta_2}, ..., \hat{\theta_l}$ 使得下試成立：

$L(\hat{\theta_1}, \hat{\theta_2}, ..., \hat{\theta_l})=max {L(\theta_1, \theta_2, ..., \theta_l)}$ , 則稱 $\hat{\theta_1}, \hat{\theta_2}, ..., \hat{\theta_l}$ 為為參數(shù) $\theta_1, \theta_2, ..., \theta_l$ 的極大似然估計(jì)量

舉例：
假如有一個(gè)罐子瀑晒，里面有黑白兩種顏色的球。我們獨(dú)立且有放回的取100次徘意，統(tǒng)計(jì)得到70個(gè)白球苔悦，30個(gè)黑球。那么我們憑感覺可以猜測(cè)這個(gè)罐子里白球占70%椎咧，黑色占30%玖详。假設(shè)取得一次白球的概率為p,那么這次實(shí)驗(yàn)的數(shù)學(xué)表達(dá)就是

$P(該次實(shí)驗(yàn))=p^{70}(1-p)^{30}$

我們有理由相信我們觀察到的結(jié)果是概率最大的把介。所以對(duì)上述式子求導(dǎo)，可以得到當(dāng)p=0.7時(shí)取得最大值蟋座。

所以極大似然背后的直觀原理就是我們觀測(cè)到的實(shí)驗(yàn)結(jié)果是概率最大的

三拗踢、再談邏輯回歸

訓(xùn)練數(shù)據(jù) ${(x_1,y_1), (x_2, y_2), ...,(x_N, y_N)}$ , 其中 $x_i \in R^n, y_i \in {0,1}$ 。即每個(gè)樣本 $x_i$ 有n個(gè)特征向臀，標(biāo)簽1表示正例巢墅、0表示負(fù)例。邏輯回歸模型描述如下：

$z = wx+b\\ a=\sigma(z)\\ P(Y=1;w)=a, P(Y=0;w)=1-a$ ,

其中 $w\in R^n$ 是需要學(xué)習(xí)的參數(shù), $\sigma=\frac{1}{1+e^(-x)}$ 是激活函數(shù)券膀。

數(shù)據(jù)已知君纫，參數(shù) $w$ 未知，概率分布已知芹彬。那么就可以極大似然估計(jì)來估計(jì)模型參數(shù)蓄髓。

$L(w)=\prod_{i=1}^N(a_w(x_i))^{y_i}(1-a_w(x_i))^{1-y_i}$ , 其中 $a_w(x_i))$ 表示在輸入是 $x_i$ 時(shí)候的模型輸出。
模型的訓(xùn)練目標(biāo)就是找到參數(shù)w使得上述似然函數(shù)取得最大值舒帮。那么這么找到這個(gè)w呢会喝？
通過反向傳播算法讓w沿梯度正方向更新
去對(duì)數(shù)不改變函數(shù)取得最大值時(shí)的w，所以在實(shí)際過程中都是用的對(duì)數(shù)似然玩郊。

$ln(L(w))=\sum_{i=1}^N[y_iln(a(x_i))+(1-y_i)ln(1-a(x_i))]$

$\frac{\partial(ln(L(w)))}{\partial(w)}=\sum_{i=1}^N[y_i*\frac{1}{a(x_i)}*a(x_i)*(1-a(x_i))*x_i+(1-y_i)*\frac{1}{1-a(x_i)}*(-1)*a(x_i)*(1-a(x_i))*x_i]=\\ \sum_{i=1}^N[yi*(1-a(x_i))*x_i-(1-y_i)*a(x_i)*x_i]=\sum_{i=1}^N[x_i*y_i-x_i*a(x_i)]=\\ \sum_{i=1}^N[x_i(yi-a(x_i))]$
其中 $a(x_i)$ 在前向傳播過程中是已知的好乐，所以這個(gè)表達(dá)式還是很簡(jiǎn)潔的。

注：上述求導(dǎo)過程中用到了鏈?zhǔn)椒▌t和 $\frac{\partial \sigma}{\partial x}=\sigma(1-\sigma)$ 公式

參考文獻(xiàn)：

鄧集賢瓦宜。概率論及數(shù)理統(tǒng)計(jì)蔚万，第四版，高等教育出版社

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末临庇，一起剝皮案震驚了整個(gè)濱河市反璃，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌假夺，老刑警劉巖淮蜈，帶你破解...
沈念sama閱讀 207,248評(píng)論 6贊 481
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異已卷，居然都是意外死亡梧田，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 88,681評(píng)論 2贊 381
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門侧蘸，熙熙樓的掌柜王于貴愁眉苦臉地迎上來裁眯，“玉大人，你說我怎么就攤上這事讳癌〈┪龋” “怎么了？”我有些...
開封第一講書人閱讀 153,443評(píng)論 0贊 344
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵晌坤，是天一觀的道長(zhǎng)逢艘。經(jīng)常有香客問我旦袋，道長(zhǎng)，這世上最難降的妖魔是什么它改？我笑而不...
開封第一講書人閱讀 55,475評(píng)論 1贊 279
?港島之戀（遺憾婚禮）
正文為了忘掉前任疤孕，我火速辦了婚禮，結(jié)果婚禮上央拖，老公的妹妹穿的比我還像新娘胰柑。我一直安慰自己，他們只是感情好爬泥，可當(dāng)我...
茶點(diǎn)故事閱讀 64,458評(píng)論 5贊 374
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著崩瓤，像睡著了一般袍啡。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上却桶，一...
開封第一講書人閱讀 49,185評(píng)論 1贊 284
城市分裂傳說
那天境输，我揣著相機(jī)與錄音逐纬，去河邊找鬼颊糜。笑死，一個(gè)胖子當(dāng)著我的面吹牛矾利，可吹牛的內(nèi)容都是我干的嘁扼。我是一名探鬼主播信粮，決...
沈念sama閱讀 38,451評(píng)論 3贊 401
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼趁啸！你這毒婦竟也來了强缘？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 37,112評(píng)論 0贊 261
萬榮殺人案實(shí)錄
序言：老撾萬榮一對(duì)情侶失蹤不傅，失蹤者是張志新（化名）和其女友劉穎旅掂，沒想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體访娶，經(jīng)...
沈念sama閱讀 43,609評(píng)論 1贊 300
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡商虐，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,083評(píng)論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了崖疤。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片秘车。...
茶點(diǎn)故事閱讀 38,163評(píng)論 1贊 334
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖劫哼，靈堂內(nèi)的尸體忽然破棺而出鲫尊，到底是詐尸還是另有隱情，我是刑警寧澤沦偎，帶...
沈念sama閱讀 33,803評(píng)論 4贊 323
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布疫向，位于F島的核電站咳蔚，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏搔驼。R本人自食惡果不足惜谈火，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,357評(píng)論 3贊 307
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望舌涨。院中可真熱鬧糯耍，春花似錦、人聲如沸囊嘉。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,357評(píng)論 0贊 19
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽扭粱。三九已至舵鳞，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間琢蛤，已是汗流浹背蜓堕。一陣腳步聲響...
開封第一講書人閱讀 31,590評(píng)論 1贊 261
情欲美人皮
我被黑心中介騙來泰國(guó)打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留博其，地道東北人套才。一個(gè)月前我還...
沈念sama閱讀 45,636評(píng)論 2贊 355
代替公主和親
正文我出身青樓，卻偏偏與公主長(zhǎng)得像慕淡，于是被迫代替她去往敵國(guó)和親背伴。傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 42,925評(píng)論 2贊 344

機(jī)器學(xué)習(xí)基礎(chǔ)之參數(shù)估計(jì)

機(jī)器學(xué)習(xí)基礎(chǔ)之參數(shù)估計(jì)

一绢要、參數(shù)估計(jì)

二根悼、極大似然估計(jì)（Maximum Likelihood Estimate）

三拗踢、再談邏輯回歸

推薦閱讀更多精彩內(nèi)容