似然函數(shù)
統(tǒng)計(jì)學(xué)中,似然函數(shù)是一種關(guān)于統(tǒng)計(jì)模型參數(shù)的函數(shù)是复。給定輸出x時(shí),關(guān)于參數(shù)θ的似然函數(shù)L(θ|x)(在數(shù)值上)等于給定參數(shù)θ后變量X的概率:
似然與概率
似然(probability)常常被用作“概率(likelihood)”的同義詞竖螃,但是在統(tǒng)計(jì)學(xué)中淑廊,二者有截然不同的用法。
概率描述了已知參數(shù)時(shí)的隨機(jī)變量的輸出結(jié)果斑鼻;似然則用來(lái)描述已知隨機(jī)變量輸出結(jié)果時(shí)蒋纬,未知參數(shù)的可能取值。
對(duì)數(shù)似然函數(shù)
涉及到似然函數(shù)的許多應(yīng)用中坚弱,更方便的是使用似然函數(shù)的自然對(duì)數(shù)形式蜀备,即“對(duì)數(shù)似然函數(shù)”。求解一個(gè)函數(shù)的極大化往往需要求解該函數(shù)的關(guān)于未知參數(shù)的偏導(dǎo)數(shù)荒叶。由于對(duì)數(shù)函數(shù)是單調(diào)遞增的碾阁,而且對(duì)數(shù)似然函數(shù)在極大化求解時(shí)較為方便,所以對(duì)數(shù)似然函數(shù)常用在最大似然估計(jì)及相關(guān)領(lǐng)域中
最大似然估計(jì)
最大似然估計(jì)是似然函數(shù)最初也是最自然的應(yīng)用些楣。
上文已經(jīng)提到脂凶,似然函數(shù)取得最大值表示相應(yīng)的參數(shù)能夠使得統(tǒng)計(jì)模型最為合理宪睹。
從這樣一個(gè)想法出發(fā),最大似然估計(jì)的做法是:首先選取似然函數(shù)(一般是概率密度函數(shù)或概率質(zhì)量函數(shù))蚕钦,整理之后求最大值亭病。實(shí)際應(yīng)用中一般會(huì)取似然函數(shù)的對(duì)數(shù)作為求最大值的函數(shù),這樣求出的最大值和直接求最大值得到的結(jié)果是相同的嘶居。似然函數(shù)的最大值不一定唯一罪帖,也不一定存在。與矩法估計(jì)比較邮屁,最大似然估計(jì)的精確度較高整袁,信息損失較少,但計(jì)算量較大佑吝。
似然函數(shù):等于每一條數(shù)據(jù)的概率之積坐昙。
損失函數(shù);損失之和芋忿,對(duì)似然函數(shù)取對(duì)數(shù)炸客,可以將積表達(dá)式轉(zhuǎn)換成和的表達(dá)式。
再加個(gè)負(fù)號(hào):可以讓最大似然值和最小損失對(duì)應(yīng)起來(lái)盗飒。
https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0/6011241?fr=aladdin
https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0/6011241?fr=aladdin
https://www.zhihu.com/question/27126057
https://www.zhihu.com/question/47744216?from=profile_question_card
https://www.zhihu.com/question/27126057