①linear regression

target function的推導(dǎo)

線性回歸是一種做擬合的算法：

誤差

上面的可以看做是一個誤差，這個誤差滿足高斯分布，服從均值為0鳄炉，方差為的高斯分布记靡，也就是高斯分布。因?yàn)榍蟪鰜淼臄M合數(shù)值不是一定就準(zhǔn)確的紊选，肯定會有一些的誤差卖词。

一般誤差不會太多舶替，都是在0上下浮動的抛蚁，所以0附近是最高的概率。
使用linear regression要滿足三個條件：
1.獨(dú)立爷辙，每一個樣本點(diǎn)之間都要相互獨(dú)立血当。
2.同分布领跛，他們的銀行是一樣的郑什，使用的算法是一樣的。
3.誤差都服從高斯分布。

由于誤差是服從高斯分布的，自然有：
上述式子有：

需要求參數(shù)诵叁，自然就是最大似然函數(shù)：

log化簡：



最大化這個似然函數(shù)那就是最小化。因?yàn)榍懊娑际浅?shù)玉凯，可以忽略势腮。而這個式子稍微變一下就是最小二乘法了。
最小二乘法：漫仆，不用上面化簡出來的式子非要加上是因?yàn)榍髮?dǎo)之后2是可以和0.5抵消的捎拯。

目標(biāo)函數(shù)的化簡

化簡一下：


求極小值赶熟，直接就是導(dǎo)數(shù)為0即可，所以對求導(dǎo)數(shù)即可。



直接令等于0：回官。
這樣就是得到了最終的目標(biāo)函數(shù)悼尾，一步就可以到達(dá)最終的optimal value沮焕。這就是linear regression肾扰。所以線性回歸是有解析解的切端，直接一條公式就可以求出來的匙奴。注意上面的公式的是不包含bias偏置值非凌，偏置項(xiàng)就是誤差殃姓，代入高斯函數(shù)推導(dǎo)出來的。

②logistic regression

target function 的推導(dǎo)

首先要提一個函數(shù)，sigmoid函數(shù)：
這個函數(shù)之前被用來做神經(jīng)網(wǎng)絡(luò)的激活函數(shù)丹皱，但是它有一個缺點(diǎn)蛤迎。

目標(biāo)函數(shù)的化簡

最大似然函數(shù)罗售，常規(guī)操作辜窑，給定了數(shù)據(jù)集找到符合這個數(shù)據(jù)集的分布一般也就是最大似然函數(shù)適合了。所以
log化：

logistics regression沒有解析解

如果等于0，就有：考察一下兩個特征兩個樣本的情況：

有三個不同的sigmoid函數(shù)谜悟，兩個式子解不了话肖，因?yàn)閟igmoid函數(shù)不是線性的，如果是線性的葡幸，那么可以吧提出來最筒，這樣就有解了。其實(shí)如果sigmoid去掉蔚叨，僅僅把那么就和linear regression一樣了床蜘。所以是沒有解析解的辙培，主要的原因就是因?yàn)閟igmoid函數(shù)是一個非線性的函數(shù)。

當(dāng)標(biāo)簽不同的時候另一種函數(shù)形式

計(jì)算分?jǐn)?shù)函數(shù)一樣的：
之前了解的preceptron：

sigmoid函數(shù)有一個比較牛逼的性質(zhì)蒂培。

上面的可以看做是-yx的線性加權(quán)，要求就是加權(quán)和之后為0田柔，而如果是線性可分的話俐巴，則只要為0就可以了；根據(jù)sigmoid函數(shù)的特性硬爆，為0就相當(dāng)于是要 << 0欣舵，即 >> 0，這就尷尬了缀磕，需要保證全部的yx都同號缘圈，都是線性可分的，這樣其實(shí)是很難做到的袜蚕，所以我們轉(zhuǎn)換一個思路糟把，用梯度下降解決。歸根到底牲剃，還是sigmoid函數(shù)的非線性遣疯。

Stochastic Gradient Descent

隨機(jī)梯度下降，以往的經(jīng)驗(yàn)是全部一起做一次更新凿傅，如果計(jì)算量非常大缠犀，那么計(jì)算復(fù)雜度很高数苫，另外如果是做online learning的時候也不方便，因?yàn)檫@個時候數(shù)據(jù)不是一個betch的過來了辨液，而是幾個幾個的了文判。

③線性模型error function的對比

三個比較簡單算法：PLA秽褒，linear regression，logistic regression威兜。他們勇于分類的時候：

④Nonlinear Transformation

對于線性可分的情況來說提前，幾乎是不用對x做什么預(yù)處理就可以直接使用模型進(jìn)行分類吗货，但是如果是對于非線性的模型，上面的方法就有點(diǎn)吃力了狈网，他們都是線性分類宙搬，直接在model上改進(jìn)有點(diǎn)困難，所以在數(shù)據(jù)上進(jìn)行處理拓哺。

Price of Nonlinear Transform

首先煌茬，用十二指腸想都知道：
如果是d維的x做二次的擴(kuò)展，那么有

所以一目了然笼蛛，代價就是之間的差距會越來越大，最后就不能再代表了蛉鹿。隨著變換多項(xiàng)式的階數(shù)增大滨砍，雖然逐漸減小，但是model complexity會逐漸增大妖异，造成很大惋戏，所以階數(shù)不能太高。如果選擇的階數(shù)很大他膳，確實(shí)能使接近于0响逢，但是泛化能力通常很差，我們把這種情況叫做tempting sin棕孙。所以舔亭，一般最合適的做法是先從低階開始，如先選擇一階hypothesis蟀俊，看看是否很小钦铺，如果足夠小的話就選擇一階，如果大的話肢预，再逐漸增加階數(shù)矛洞，直到滿足要求為止。也就是說烫映，盡量選擇低階的hypothes沼本，這樣才能得到較強(qiáng)的泛化能力。模型復(fù)雜度越高出現(xiàn)的泛化能力問題锭沟，就是過擬合抽兆，在訓(xùn)練數(shù)據(jù)上表現(xiàn)很好，Ein = 0族淮，但是在測試數(shù)據(jù)上就很差辫红，Ein << Eout凭涂。

⑤Overfitting and Regularization

overfiting，過擬合厉熟，就是上面所描訴的情況了，和相差太遠(yuǎn)了较幌，局部已經(jīng)不能再代表全局了揍瑟，主要原因就是模型復(fù)雜度太大了，VC bound太大乍炉，限制不了绢片。overfitting就是訓(xùn)練過程中翻車了，原因：①太快了岛琼，模型復(fù)雜度太大底循。②近視，看的路太短槐瑞，樣本少熙涤。③這路不行，彎彎曲曲的困檩，noise太多祠挫，噪音太大。
對應(yīng)的解決方法其實(shí)很多悼沿，但主要就是regularization了：

可以看到梯度的方向是差不多對準(zhǔn)了（最好的W）轨蛤，只要在切線方向有分量，那么就會沿著切線的方向滑動虫埂。但是可以看到祥山，這梯度的方向只是差不多對準(zhǔn)了而不是準(zhǔn)確的對齊，因?yàn)槭侵苯拥那髮?dǎo)掉伏，你不可以保證這個式子就是一個凸優(yōu)化問題缝呕，它可能是多個凸優(yōu)化多個山谷的，可能只是看到了比較近的一個山谷斧散，但是大致方向是正確的岳颇。所以如果梯度沒有和分量w平行，那么會一直移動颅湘，可以看做是话侧，梯度就是負(fù)方向嘛，當(dāng)平行時闯参，按照圖中的推理：瞻鹏，就是square error function求導(dǎo)，所以有鹿寨，最后就推導(dǎo)出

對于regularization的VC 理論解釋

正則化出來過后的linear regression就是ridge regression，根據(jù)之前的VC bound理論：写隶，其中是復(fù)雜度倔撞，代表的是單個hypothesis的復(fù)雜度，而代表的整個hypothesis set的復(fù)雜度慕趴，所以是被包含在里面的痪蝇，所以相對來說，相對來說會和更加接近躏啰。

General Regularizers

兩個比較常用的：
ridge：L2范數(shù)毫捣，
lasso：L1范數(shù)，
ridge推導(dǎo)過了想际，來看看lasso的：

只要有一點(diǎn)微小的擾動思灌，結(jié)果就會發(fā)生很大的變化俺叭，這就是病態(tài)矩陣，如果是病態(tài)矩陣泰偿，那么兩次的結(jié)果可能會相差很大熄守。是不是病態(tài)矩陣可以用條件數(shù)來判斷。用條件數(shù)來描述病態(tài)矩陣其實(shí)還是太抽象了耗跛。奇異矩陣就是不存在逆矩陣的方陣裕照。什么樣的方陣不存在逆矩陣？首先行列式為0调塌，自然就牽扯出來非滿秩牍氛，特征值只和為0。而對于近似奇異矩陣烟阐，他的行列式很接近于0搬俊，所以是一個很大的數(shù)字紊扬，根據(jù)求逆矩陣的公式，逆矩陣是可以通過伴隨矩陣和行列式求的唉擂，所以自然差別就很大了餐屎，所以病態(tài)矩陣也就是近似于奇異矩陣的矩陣了。那么知道原因了玩祟，我們要做的就是遠(yuǎn)離奇異矩陣腹缩。而事實(shí)上，ridge regression的結(jié)果：

summary

加入正則項(xiàng)是為了避免過擬合,或解進(jìn)行某種約束,需要解保持某種特性
①L1正則可以保證模型的稀疏性影涉，也就是某些參數(shù)等于0,L1正則化是L0正則化的最優(yōu)凸近似，比L0容易求解规伐，并且也可以實(shí)現(xiàn)稀疏的效果,
②L2正則可以保證模型的穩(wěn)定性蟹倾，也就是參數(shù)的值不會太大或太小.L2范數(shù)是各參數(shù)的平方和再求平方根，我們讓L2范數(shù)的正則項(xiàng)最小猖闪，可以使W的每個元素都很小鲜棠，都接近于0。但與L1范數(shù)不一樣的是萧朝，它不會是每個元素為0岔留，而只是接近于0。越小的參數(shù)說明模型越簡單检柬，越簡單的模型越不容易產(chǎn)生過擬合現(xiàn)象献联。
③在實(shí)際使用中，如果特征是高維稀疏的何址，則使用L1正則里逆；如果特征是低維稠密的，則使用L2正則用爪。
④L2不能控制feature的“個數(shù)”原押，但是能防止模型overfit到某個feature上；相反L1是控制feature“個數(shù)”的偎血，并且鼓勵模型在少量幾個feature上有較大的權(quán)重诸衔。
總結(jié)一下之前學(xué)過的盯漂，第十八篇博客VC dimension是機(jī)器學(xué)習(xí)的理論保證：

⑥logistics regression代碼實(shí)現(xiàn)

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns

def predict(w, x):
    h = x * w
    h = sigmoid(h)
    if h > 0.5:
        return int(1)
    else:
        return int(0)

def sigmoid(x):
    return np.longfloat(1.0/(1+np.exp(-x)))

def error_rate(h, label):
    m = np.shape(h)[0]
    sum_err = 0.0
    for i in range(m):
        if h[i, 0] > 0 and (1-h[i, 0]) > 0:
            sum_err += (label[i, 0] * np.log(h[i, 0]) + (1-label[i, 0])*np.log(1-h[i, 0]))
        else:
            sum_err += 0
    return sum_err/m

def lr_train_bgd(feature, label, maxCycle, alpha, df):
    n = np.shape(feature)[1]
    m = np.shape(feature)[0]
    w = np.mat(np.random.rand(n,1))
    i = 0
    while True:
        i += 1
        h = sigmoid(feature * w)
        err = label - h
        if i % 100== 0:
            print('error : ', error_rate(h, label))
            d = 0
            scores = []
            for i in range(m):
                score = predict(w, feature[i])
                scores.append(score)
                if score == label[i]:
                    d += 1
            print('train accuracy : ', (d/m)*100, '%')
            if (d/m)*100 >= 90:
                for i in range(m):
                    if df.iloc[i, 2] == 1:
                        c = 'red'
                    else:
                        c = 'blue'
                    plt.scatter(df.iloc[i, 0], df.iloc[i, 1], c=c)
                x = [i for i in range(0, 10)]
                plt.plot(np.mat(x).T, np.mat((-w[0]-w[1]*x)/w[2]).T, c = 'blue')
                plt.show()
                return

        w += alpha * feature.T * err

def loadData(filename):
    df = pd.read_csv(filename, sep='    ', names=['a', 'b', 'label'])
    n, m = df.shape
    features = []
    labels = []
    for i in range(n):
        feature = []
        feature.append(int(1))
        for j in range(1,m):
            feature.append(df.iloc[i, j])
        if df.iloc[i, m-1] == -1:
            labels.append(0)
        else:
            labels.append(1)
        features.append(feature)

    for i in range(n):
        if df.iloc[i, 2] == 1:
            c = 'red'
        else:
            c = 'blue'
        plt.scatter(df.iloc[i, 0], df.iloc[i, 1], c = c)
    plt.show()
    return np.mat(features), np.mat(labels).T, df

if __name__ == '__main__':
    f, t, df = loadData('../Data/testSet.txt')
    lr_train_bgd(f, t, 10000, 0.001, df)

Github代碼：https://github.com/GreenArrow2017/MachineLearning/tree/master/MachineLearning/Linear%20Model/LogosticRegression