最大似然估計(jì)是利用已知的樣本的結(jié)果，在使用某個(gè)模型的基礎(chǔ)上古劲，反推最有可能導(dǎo)致這樣結(jié)果的模型參數(shù)值斥赋。
例子1：抽球
舉個(gè)通俗的例子：假設(shè)一個(gè)袋子裝有白球與紅球，比例未知产艾，現(xiàn)在抽取10次（每次抽完都放回疤剑，保證事件獨(dú)立性），假設(shè)抽到了7次白球和3次紅球闷堡，在此數(shù)據(jù)樣本條件下隘膘，可以采用最大似然估計(jì)法求解袋子中白球的比例（最大似然估計(jì)是一種“模型已定，參數(shù)未知”的方法）杠览。當(dāng)然弯菊，這種數(shù)據(jù)情況下很明顯，白球的比例是70%踱阿，但如何通過理論的方法得到這個(gè)答案呢管钳？一些復(fù)雜的條件下钦铁，是很難通過直觀的方式獲得答案的，這時(shí)候理論分析就尤為重要了才漆，這也是學(xué)者們?yōu)楹我岢鲎畲笏迫还烙?jì)的原因牛曹。我們可以定義從袋子中抽取白球和紅球的概率如下：
其中theta是未知的黎比，因此，我們定義似然L為：
兩邊取ln鸳玩，取ln是為了將右邊的乘號(hào)變?yōu)榧犹?hào)焰手，方便求導(dǎo)。
最大似然估計(jì)的過程船响，就是找一個(gè)合適的theta躬拢，使得平均對(duì)數(shù)似然的值為最大。因此见间，可以得到以下公式：
這里討論的是2次采樣的情況聊闯，當(dāng)然也可以拓展到多次采樣的情況：
我們定義M為模型（也就是之前公式中的f），表示抽到白球的概率為theta米诉，而抽到紅球的概率為(1-theta)菱蔬，因此10次抽取抽到白球7次的概率可以表示為：
將其描述為平均似然可得：
那么最大似然就是找到一個(gè)合適的theta拴泌，獲得最大的平均似然。因此我們可以對(duì)平均似然的公式對(duì)theta求導(dǎo)惊橱，并另導(dǎo)數(shù)為0蚪腐。
由此可得，當(dāng)抽取白球的概率為0.7時(shí)税朴，最可能產(chǎn)生10次抽取抽到白球7次的事件回季。
例子2：正態(tài)分布
假如有一組采樣值（x1,...,xn），我們知道其服從正態(tài)分布正林，且標(biāo)準(zhǔn)差已知泡一。當(dāng)這個(gè)正態(tài)分布的期望為多少時(shí)，產(chǎn)生這個(gè)采樣數(shù)據(jù)的概率為最大觅廓？
這個(gè)例子中正態(tài)分布就是模型M鼻忠，而期望就是前文提到的theta。
綜上所述，可得求解最大似然估計(jì)的一般過程為：
1. 寫出似然函數(shù)讨阻；
2. 如果無法直接求導(dǎo)的話芥永，對(duì)似然函數(shù)取對(duì)數(shù)；
3. 求導(dǎo)數(shù) 钝吮；
4. 求解模型中參數(shù)的最優(yōu)值埋涧。
