RBF Network

前面的一篇SVM中田轧，最后的分割函數(shù)：

回過(guò)頭來(lái)思考一下SVM闪金，其實(shí)支持向量機(jī)就是先通過(guò)凸優(yōu)化的一些方法找到有投票權(quán)利的點(diǎn)，之后給出相應(yīng)的權(quán)值论颅，最后決策就是這些有投票權(quán)利的點(diǎn)進(jìn)行決策哎垦；對(duì)于其他線性模型，其實(shí)主要的不同就是他們每一個(gè)點(diǎn)都有投票的權(quán)利恃疯，這就導(dǎo)致很遠(yuǎn)的點(diǎn)都會(huì)干擾到邊界撼泛。而RBF Network事實(shí)上做的事情和SVM有點(diǎn)像，因?yàn)镽BF函數(shù)是指數(shù)增長(zhǎng)澡谭，如果這個(gè)點(diǎn)很遠(yuǎn)的話會(huì)非常小愿题，近乎就是0了，所以也起到了弱化遠(yuǎn)的點(diǎn)投票權(quán)蛙奖，強(qiáng)化近的點(diǎn)投票權(quán)的能力潘酗。

RBF Network Learning

RBF Network的決策函數(shù)：

K Mean Algorithm

選擇代表的原因，就是因?yàn)檫@些點(diǎn)有很高的相似性域滥，所以可以使用一個(gè)中心點(diǎn)來(lái)代表纵柿，從所有的點(diǎn)中選擇幾個(gè)有代表性的點(diǎn)蜈抓。

優(yōu)化有結(jié)果嗎修赞？

這個(gè)優(yōu)化的過(guò)程好像有些不一樣，求導(dǎo)等于0應(yīng)該是直接求出了最優(yōu)的解桑阶，linear regression就是這個(gè)道理柏副，但是為什么要一直這樣迭代呢？這是因?yàn)榍蟪鰜?lái)的這個(gè)μ并不是一個(gè)全局的μ蚣录，只是在當(dāng)前對(duì)于每一個(gè)群S的一個(gè)最優(yōu)割择，但是這個(gè)S并不是最優(yōu)的，之前也說(shuō)了：這個(gè)S和μ是互相牽制的包归，雞生蛋蛋生雞的問(wèn)題锨推，S可以得到μ铅歼，μ也可以得到S公壤。所以整個(gè)過(guò)程通俗點(diǎn)就是通過(guò)μ求局部最優(yōu)的S，通過(guò)S有球局部的最優(yōu)μ椎椰，不斷的迭代厦幅，慢慢的跑到全局。但是也沒(méi)有可以跑到局部呢慨飘？這個(gè)是有可能的确憨，這于初值有關(guān)，所以Kmean均值算法也是一個(gè)初值敏感的算法瓤的。對(duì)于局部這個(gè)問(wèn)題休弃，有一種解法就是可以合并最近的幾個(gè)質(zhì)心。事實(shí)上如果中心比較小圈膏，比如3個(gè)這樣塔猾，一般都不會(huì)有局部出現(xiàn)，因?yàn)?img class="math-block" src="https://math.jianshu.com/math?formula=%5Csum_%7Bm%3D1%7D%5EM(x_n%20-%20%CE%BC_m)%5E2" alt="\sum_{m=1}^M(x_n - μ_m)^2" mathimg="1">不會(huì)這么的彎曲稽坤。
停止是一定的丈甸，因?yàn)闊o(wú)論是通過(guò)S優(yōu)化μ還是μ優(yōu)化S都朝Ein = 0為目的，如果Ein增加了是不會(huì)繼續(xù)的尿褪，所以最后一定會(huì)到達(dá)一個(gè)平衡點(diǎn)睦擂。

The process of the RBF Network

既然中心有其他算法可以幫忙解決了，那么整個(gè)算法也就清晰了：

求解優(yōu)化的過(guò)程中杖玲，可以使用validation來(lái)求解最優(yōu)的λ和M顿仇。

RBF Network and KMeans in action

k值的大小和初始位置的不同都會(huì)影響聚類的結(jié)果。
把這些機(jī)構(gòu)k均值使用到RBF里面：

對(duì)于正則化也有不同的影響。

coding

KMeans

接下來(lái)就是代碼實(shí)現(xiàn)KMeans算法了臼闻。KMeans算法其實(shí)很簡(jiǎn)單跪帝，首先隨機(jī)得到幾個(gè)中心點(diǎn)，根據(jù)中心點(diǎn)預(yù)測(cè)做聚類算法即可些阅。

def loadDataSet():
    '''loading data......'''
    data = dataSet.load_iris()
    dataset = data.data
    target = data.target
    PCA = pca.PCA(n_components=2)
    dataset = PCA.fit_transform(dataset)
    return np.mat(dataset), np.mat(target)
    pass

加載數(shù)據(jù)伞剑，iris數(shù)據(jù)集進(jìn)行降維操作便于可視化。

def distEclud(vecA, vecB):
    '''calculate the distance from vecA to vecB'''
    return np.sqrt(np.sum(np.power(vecA - vecB, 2)))
    pass

def randCent(dataSet, k):
    '''create the center'''
    n = np.shape(dataSet)[1]
    centroids = np.mat(np.zeros((k, n)))
    for j in range(n):
        minJ = np.min(dataSet[:, j])
        rangeJ = float(max(dataSet[:, j]) - minJ)
        centroids[:, j] = minJ + rangeJ * np.random.rand(k, 1)
    return centroids

計(jì)算距離市埋，隨機(jī)選擇中心點(diǎn)黎泣。隨機(jī)選擇中心點(diǎn)這里是先計(jì)算了每一個(gè)維度的范圍，之后在這個(gè)范圍里面隨機(jī)選擇缤谎。

def KMeans(dataSet, k, distMeas = tool.distEclud, createCent = tool.randCent):
    '''KMeans Algorithm is running......'''
    m = np.shape(dataSet)[0]
    clusterAssment = np.mat(np.zeros((m, 2)))
    centroids = createCent(dataSet, k)
    clusterChanged = True
    while clusterChanged:
        clusterChanged = False
        for i in range(m):
            minDist = np.inf
            minIndex = -1
            for j in range(k):
                distJI = distMeas(centroids[j,:], dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI
                    minIndex = j
            if clusterAssment[i, 0] != minIndex:
                clusterChanged = True
            clusterAssment[i, :] = minIndex, minDist**2
        for cent in range(k):
            ptsInClust = dataSet[np.nonzero(clusterAssment[:, 0].A == cent)[0]]
            centroids[cent, :] = np.mean(ptsInClust, axis=0)
    dataFrame = pd.DataFrame(data=np.hstack((dataSet, clusterAssment[:,0])))
    return dataFrame, centroids

選擇和calculate distance的算法都是動(dòng)態(tài)的方式抒倚，便于以后的改進(jìn)。整個(gè)過(guò)程也比較簡(jiǎn)單坷澡，離哪個(gè)近就屬于哪個(gè)類別托呕。

RBF Network

①獲取中心點(diǎn)

_,center = kMeans.KMeans(np.mat(x_train), k)

剛剛寫好的KMeans就是這個(gè)作用。

②計(jì)算β值

beta = rbf(x_train, center, y_train, gama=gamma, lamda=lamda)

rbf函數(shù)的實(shí)現(xiàn)：

def rbf(x_train, center, y_train, gama = 0.001, lamda = 0.01):
    M = center.shape[0]
    N = len(x_train)
    Z = np.zeros((M, N))
    for i in range(M):
        for j in range(N):
            Z[i][j] = Gaussian(x_train[j], center[i], gama)
    I1 = np.eye(N, k = 0)
    beta = np.linalg.inv(np.dot(Z.T, Z) + lamda * I1)
    beta = np.dot(beta, Z.T)
    y_train = np.mat(y_train)
    beta = np.dot(y_train, beta)
    return beta
    pass

def Gaussian(vecA, vecB, gama):
    x_x = np.abs(np.sum(vecA - vecB))
    x_x_2 = np.power(x_x, 2)
    return np.exp(-1.0 * gama * x_x_2)
    pass

首先是計(jì)算Z矩陣频敛，就是φ(x)的矩陣项郊。其實(shí)就是和上面步驟一模一樣的，使用的是線性回歸斟赚，使用直接就可以算着降，要是邏輯回歸也是一樣。

③預(yù)測(cè)

def predict(beta, x_train, center, gama):
    result = []
    for x in x_train:
        x = np.mat(x)
        sum = 0
        for i, vecB in enumerate(center):
            sum += beta[0,i]*Gaussian(x, vecB, gama)
        result.append(sum)
    return result
    pass

為了方便調(diào)用拗军，整合成一個(gè)函數(shù)：

def RBF(y_test, x_test, y_train, x_train, gamma = 0.001, lamda = 0.01, k = 4):
    Again = True
    while Again == True:
        _,center = kMeans.KMeans(np.mat(x_train), k)
        beta = rbf(x_train, center, y_train, gama=gamma, lamda=lamda)
        Again = False
        for i in range(beta.shape[1]):
            if np.isnan(beta[0, i]):
                Again = True
    result = predict(beta, x_train, center, gamma)
    for i in range(len(result)):
        if result[i] > 0:
            result[i] = 1
        else:
            result[i] = -1
    posibility = 0
    for i in range(len(result)):
        if result[i] == y_train[i]:
            posibility += 1
    train_accuracy = posibility/len(result)
    result = predict(beta, x_test, center, gamma)

    for i in range(len(result)):
        if result[i] > 0:
            result[i] = 1
        else:
            result[i] = -1
    posibility = 0
    for i in range(len(result)):
        if result[i] == y_test[i]:
            posibility += 1
    test_accuracy = posibility/len(result)
    return train_accuracy, test_accuracy

可以計(jì)算不同gamma任洞，lamda，k的影響发侵。

④獲取數(shù)據(jù)

def load_data():
    data = dataset.load_breast_cancer().data
    target = dataset.load_breast_cancer().target
    for i in range(len(target)):
        if target[i] == 0:
            target[i] = -1
    x_train, x_test, y_train, y_test = train_test_split(data, target, random_state=42, shuffle=True, test_size=0.4)
    return x_train, x_test, y_train, y_test
    pass

⑤啟動(dòng)函數(shù)

if __name__ == '__main__':
    x_train, x_test, y_train, y_test = load_data()
    gamma = [1,0.1,0.01,0.001,0.0001]
    lamda = gamma
    train_accuracy = []
    test_accutacy = []
    c = ['red', 'blue', 'orange', 'green', 'yellow', 'black']
    for n, i in enumerate(gamma):
        for j in lamda:
            train, text = RBF(x_test=x_test, y_test=y_test, x_train=x_train, y_train=y_train, gamma=i, lamda=j)
            print('gama : ',i, ' lamda : ', j, ' train_accuracy : ', train, ' text_accuray : ', text)
            train_accuracy.append(train)
            test_accutacy.append(text)
        plt.plot(lamda, train_accuracy, c = c[n], label = 'gamma:'+str(i) + ' (train)')
        plt.plot(lamda, test_accutacy, c = c[n], linestyle='--', label = 'gamma:'+str(i) + ' (test)')
        plt.xlabel('lambda')
        plt.ylabel('accuracy')
        plt.legend(loc = 'upper right')
        train_accuracy = []
        test_accutacy = []
    plt.show()

    for n, i in enumerate(lamda):
        for j in gamma:
            train, text = RBF(x_test=x_test, y_test=y_test, x_train=x_train, y_train=y_train, gamma=j, lamda=i)
            print('lamda : ',i, ' gama : ', j, ' train_accuracy : ', train, ' text_accuray : ', text)
            train_accuracy.append(train)
            test_accutacy.append(text)
        plt.plot(gamma, train_accuracy, c = c[n], label = 'lamda:'+str(i) + ' (train)')
        plt.plot(gamma, test_accutacy, c = c[n], linestyle='--', label = 'lamda:'+str(i) + ' (test)')
        plt.xlabel('gamma')
        plt.ylabel('accuracy')
        plt.legend(loc = 'upper right')
        train_accuracy = []
        test_accutacy = []
    plt.show()

    ks = [2,3,4,5,6,7]
    train_accuracy = []
    test_accutacy = []
    for i in range(6):
        for n, i in enumerate(ks):
            train, text = RBF(x_test=x_test, y_test=y_test, x_train=x_train, y_train=y_train, gamma=0.0001, lamda=0.01, k=i)
            print('k == ' + str(i))
            train_accuracy.append(train)
            test_accutacy.append(text)
        plt.plot(ks, train_accuracy, c = c[n], label = 'train')
        plt.plot(ks, test_accutacy, c = c[n], linestyle='--', label = 'test')
        plt.xlabel('the number of k')
        plt.ylabel('accuracy')
        plt.legend(loc = 'upper left')
        plt.show()
        train_accuracy = []
        test_accutacy = []
    pass

效果的討論

在運(yùn)行函數(shù)得到結(jié)果后進(jìn)行分析交掏。

①當(dāng)γ固定了，看看lamda變化對(duì)于結(jié)果的影響刃鳄。

②當(dāng)λ固定了伦忠，看看γ變化對(duì)于結(jié)果的影響。

③對(duì)于k的數(shù)量和準(zhǔn)確率的討論

效果不太穩(wěn)定邻储，我多做了幾次赋咽。

所以最后還有兩個(gè)問(wèn)題沒(méi)有解決毡琉，一個(gè)就是λ為什么對(duì)于模型的影響很很小，另一個(gè)上面沒(méi)有提到尺借，為什么測(cè)試數(shù)據(jù)的準(zhǔn)確率會(huì)大于訓(xùn)練數(shù)據(jù)的準(zhǔn)確率绊起？這還打的明顯，不知道是不是沒(méi)有做交叉驗(yàn)證的結(jié)果燎斩，因?yàn)閼小７湟铩Ｕけ怼！Ｖ翱吹降慕忉屖牵?/h4>

如果程序很好的實(shí)現(xiàn)了模型师枣，那么就是模型不適合你的數(shù)據(jù)怪瓶，因?yàn)檫@表明存在如下問(wèn)題：每次訓(xùn)練，都使得訓(xùn)練之后的模型對(duì)測(cè)試的 1折效果很好践美，而對(duì)用于訓(xùn)練的9折效果慘淡洗贰，也就是模型落入了局部極值點(diǎn)而非全局極值點(diǎn)。這很有可能是模型在具體數(shù)據(jù)下的失效問(wèn)題陨倡。

但是這個(gè)問(wèn)題已經(jīng)重復(fù)過(guò)了很多次敛滋，一直在使用test_train_split區(qū)分，同時(shí)也有shuffle兴革。事實(shí)上在γ比較小的時(shí)候绎晃，測(cè)試數(shù)據(jù)就超過(guò)了訓(xùn)練數(shù)據(jù)的準(zhǔn)確率蜜唾，上面γ的變化可以看到。

最后附上GitHub代碼：https://github.com/GreenArrow2017/MachineLearning/tree/master/MachineLearning/RBFNetwork