- 基本概念
- 線性回歸
- 對數(shù)幾率回歸 （邏輯回歸）
- 線性判別分析（Fisher判別回歸） 重要
- 多分類學(xué)習(xí)
- 類別不平衡問題
- 梯隊下降法
1. 基本概念
1.1 問題描述
給定數(shù)據(jù)集，其中
通過線性模型盡可能準(zhǔn)確預(yù)測實(shí)值輸出標(biāo)志猖毫。
1.2 函數(shù)形式
1.3 向量形式
2. 線性回歸
2.1 問題描述
3.2 一元線性回歸
- 只有一個屬性 d = 1，w, b是單個的數(shù)
- 目標(biāo)函數(shù)：w, b為參數(shù)，是未知的。如何去確定w, b洒试？均值誤差最小化。
目標(biāo)函數(shù)求解：即線性回歸模型的對最小二乘“參數(shù)估計”朴上。
對w和b求導(dǎo)垒棋。
2.3 多元線性回歸
- 關(guān)系式
2.4 對數(shù)線性回歸
- 用線性關(guān)系實(shí)現(xiàn)非線性關(guān)系
原型：
對數(shù)：
對數(shù)線性回歸示意圖.png
2.5 廣義線性回歸
- link function
3. 對數(shù)幾率回歸 （邏輯回歸）
3.1 問題描述
- 分類問題。
- 對于簡單的二分類問題痪宰，實(shí)際上是樣本點(diǎn)到一個值域y∈{0,1}y∈{0,1}的函數(shù)叼架，表示這個點(diǎn)分在正類(postive)或者反類(negtive)的概率，若該樣本非骋虑耍可能是正類乖订，那么輸出的概率值越接近1；反之具练，若該樣本非痴Ч梗可能是負(fù)類，則輸出的概率值越接近0扛点。
而線性回歸模型產(chǎn)生的預(yù)測值是實(shí)數(shù)值哥遮，于是需要一個理想的函數(shù)來實(shí)現(xiàn)輸出實(shí)數(shù)值z到0/1值的轉(zhuǎn)化。
- 最理想的是單位階躍函數(shù)(uint-step function)占键。
-
Sigmoid 函數(shù)
單位階躍函數(shù)與對數(shù)幾率函數(shù).png
3.2 二分類任務(wù)
3.3 代碼
代碼塊
4. 線性判別分析（Fisher判別回歸）
5. 多分類學(xué)習(xí)
6. 類別不平衡問題
7. 梯隊下降法
7.1 基本思想
image.png
梯度下降的目的昔善，就是為了最小化損失函數(shù)。尋找損失函數(shù)的最低點(diǎn)畔乙，就像我們在山谷里行走君仆，希望找到山谷里最低的地方。那么如何尋找損失函數(shù)的最低點(diǎn)呢牲距？在這里返咱，我們使用了微積分里導(dǎo)數(shù)，通過求出函數(shù)導(dǎo)數(shù)的值牍鞠，從而找到函數(shù)下降的方向或者是最低點(diǎn)（極值點(diǎn)）咖摹。
損失函數(shù)里一般有兩種參數(shù)，一種是控制輸入信號量的權(quán)重(Weight, w)难述，另一種是調(diào)整函數(shù)與真實(shí)值距離的偏差 (Bias, b)萤晴。通過梯度下降方法不斷地調(diào)整權(quán)重 w和偏差b吐句，使得損失函數(shù)的值變得越來越小。算法詳細(xì)過程：
確定定參數(shù)的初始值店读，計算損失函數(shù)的偏導(dǎo)數(shù)嗦枢。
將參數(shù)代入偏導(dǎo)數(shù)計算出梯度。若梯度為 0屯断，結(jié)束文虏；否則轉(zhuǎn)到 3。
用步長乘以梯度殖演，并對參數(shù)進(jìn)行更新氧秘。
7.2 批量梯度下降
7.3 代碼
7.4 學(xué)習(xí)率問題
解決方法：1. 網(wǎng)格搜索：限制迭代次數(shù)；2. 梯度限制：設(shè)置大量迭代
參考資料：機(jī)器學(xué)習(xí)方法(二)：線性回歸 | HowardWang的博客 (wanghao15536870732.github.io)
