習題一
說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。
統計學習方法的三要素：
- 模型
- 策略
- 算法
| ? | 模型 | 策略 | 算法 |
|---|---|---|---|
| 極大似然估計 | 條件概率 | 經驗風險最小化 | 求解析解 |
| 貝葉斯估計 | 條件概率 | 結構風險最小化 | 求數值解 |
伯努利模型是定義在取值為上的隨機變量上的概率分布：
當Y取值為1時：
當Y取值為0時：
極大似然估計為
去似然函數的對數為：
- n是實驗的次數
- k為n次實驗中結果為1的次數
-
表示第i次實驗的結果
令似然函數的導數為0，可以求出解析解
貝葉斯估計：
根據先驗概率和估計后驗概率赚抡，使得后驗概率最大化，所以貝葉斯估計得到的概率取決于所選擇的先驗分布舱馅。
習題二
通過經驗風險化最小化推導極大似然估計积糯。證明模型是條件概率分布跌帐，當損失函數是對數損失函數時，經驗風險最小化等價于極大似然估計翎冲。
幾個重要概念：
-
模型是條件概率分布垂睬，說明預測值：
image.png
