深度學(xué)習(xí)——RBF算法

前言:rbf算法用的不多,但他的思想引用到局部逼近国章,能夠更快求解參數(shù)具钥,在未來(lái)的發(fā)展應(yīng)該不錯(cuò)

簡(jiǎn)介

1>方法:先給定幾個(gè)中心點(diǎn)和聚類(lèi)類(lèi)似,然后判斷數(shù)據(jù)是屬于哪個(gè)中心點(diǎn)液兽,那么屬于該中心的特性就比較大骂删,RBF網(wǎng)絡(luò)能夠逼近任意非線性的函數(shù)∷膯可以處理系統(tǒng)內(nèi)難以解析的規(guī)律性宁玫,具有很好的泛化能力,并且具有較快的學(xué)習(xí)速度柑晒。
2>優(yōu)點(diǎn):有很快的學(xué)習(xí)收斂速度欧瘪,已成功應(yīng)用于非線性函數(shù)逼近、時(shí)間序列分析匙赞、數(shù)據(jù)分類(lèi)佛掖、 模式識(shí)別、信息處理涌庭、圖像處理芥被、系統(tǒng)建模、控制和故障診斷等坐榆。
3>全局逼近網(wǎng)絡(luò):當(dāng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)(權(quán)值或閾值)對(duì)任何一個(gè)輸出都有影響時(shí)拴魄,這樣的網(wǎng)絡(luò)稱(chēng)為全局逼近網(wǎng)絡(luò)。由于對(duì)于每次輸入席镀,網(wǎng)絡(luò)上的每一個(gè)權(quán)值都要調(diào)整羹铅,從而導(dǎo)致全局逼近網(wǎng)絡(luò)的學(xué)習(xí)速度很慢,比如BP網(wǎng)絡(luò)愉昆。
4>局部逼近網(wǎng)絡(luò):如果對(duì)于輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)值影響輸出,則該網(wǎng)絡(luò)稱(chēng)為局部逼近網(wǎng)絡(luò)麻蹋,比如RBF網(wǎng)絡(luò)跛溉。

原理:

RBF Network 通常只有三層:
1>輸入層
2>中間層:計(jì)算輸入 x 矢量與樣本矢量 c 歐式距離的 Radial Basis Function (RBF) 的值。隱含層的作用是把向量從低維度的m映射到高維度的P,這樣低維線性不可分
的情況到高維線性可分了。
3>輸出層:計(jì)算它們的線性組合芳室。


RBF Kernel的特點(diǎn):


image.png

先是用類(lèi)似聚類(lèi)的方式把區(qū)分出記憶樣本(圖中的圓心點(diǎn))专肪,然后有用了BP的算法求解。


image.png

神經(jīng)網(wǎng)絡(luò)遇到的問(wèn)題:
一般來(lái)講堪侯,可以通過(guò)增加神經(jīng)元和網(wǎng)絡(luò)層次來(lái)提升神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力嚎尤,使其得到的模型更加能夠符合數(shù)據(jù)的分布場(chǎng)景;但是實(shí)際應(yīng)用場(chǎng)景中伍宦,神經(jīng)網(wǎng)絡(luò)的層次一般情況不會(huì)太大芽死,因?yàn)樘畹膶哟斡锌赡墚a(chǎn)生一些求解的問(wèn)題
在DNN(深度神經(jīng)網(wǎng)絡(luò))的求解中有可能存在兩個(gè)問(wèn)題:梯度消失和梯度爆炸;我們?cè)谇蠼馓荻鹊臅r(shí)候會(huì)使用到鏈?zhǔn)角髮?dǎo)法則次洼,實(shí)際上就是一系列的連乘关贵,如果每一層都小于1的話,則梯度越往前乘越小卖毁,導(dǎo)致梯度消失揖曾,而如果連乘的數(shù)字在每層 都是大于1的,則梯度越往前乘越大亥啦,導(dǎo)致梯度爆炸.
用代碼實(shí)現(xiàn)一個(gè)rbf神經(jīng)網(wǎng)絡(luò)如下:

from scipy.linalg import norm, pinv
import numpy as np

from matplotlib import pyplot as plt

np.random.seed(28)


class RBF:
    """
    RBF徑向基神經(jīng)網(wǎng)絡(luò)
    """

    def __init__(self, input_dim, num_centers, out_dim):
        """
        初始化函數(shù)
        :param input_dim: 輸入維度數(shù)目
        :param num_centers: 中間的核數(shù)目
        :param out_dim:輸出維度數(shù)目
        """
        self.input_dim = input_dim
        self.out_dim = out_dim
        self.num_centers = num_centers
        self.centers = [np.random.uniform(-1, 1, input_dim) for i in range(num_centers)]
        self.beta = 8
        self.W = np.random.random((self.num_centers, self.out_dim))

    def _basisfunc(self, c, d):
        return np.exp(-self.beta * norm(c - d) ** 2)

    def _calcAct(self, X):
        # calculate activations of RBFs
        G = np.zeros((X.shape[0], self.num_centers), float)
        for ci, c in enumerate(self.centers):
            for xi, x in enumerate(X):
                G[xi, ci] = self._basisfunc(c, x)
        return G

    def train(self, X, Y):
        """
        進(jìn)行模型訓(xùn)練
        :param X: 矩陣炭剪,x的維度必須是給定的n * input_dim
        :param Y: 列的向量組合,要求維度必須是n * 1
        :return:
        """

        # 隨機(jī)初始化中心點(diǎn)(permutation API的作用是打亂順序翔脱,如果給定的是一個(gè)int類(lèi)型的數(shù)據(jù)奴拦,那么打亂range(int)序列)
        rnd_idx = np.random.permutation(X.shape[0])[:self.num_centers]
        self.centers = [X[i, :] for i in rnd_idx]

        # calculate activations of RBFs
        # 相當(dāng)于計(jì)算RBF中的激活函數(shù)值
        G = self._calcAct(X)

        # calculate output weights (pseudoinverse)
        # 計(jì)算權(quán)重(pinv API:計(jì)算矩陣的逆) ==> Y=GW ==> W = G^-1Y
        self.W = np.dot(pinv(G), Y)

    def test(self, X):
        """ X: matrix of dimensions n x indim """
        G = self._calcAct(X)
        Y = np.dot(G, self.W)
        return Y


# 構(gòu)造數(shù)據(jù)
n = 100
x = np.linspace(-1, 1, n).reshape(n, 1)
y = np.sin(3 * (x + 0.5) ** 3 - 1)
# y = y + np.random.normal(0, 0.1, n).reshape(n, 1)

# RBF神經(jīng)網(wǎng)絡(luò)
rbf = RBF(1, 10, 1)
rbf.train(x, y)
z = rbf.test(x)

# plot original data
plt.figure(figsize=(12, 8))
# 展示原始值,黑色
plt.plot(x, y, 'k-')

# plot learned model
# 展示預(yù)測(cè)值
plt.plot(x, z, 'r-', linewidth=2)

plt.xlim(-1.2, 1.2)
plt.show()

結(jié)果:


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末碍侦,一起剝皮案震驚了整個(gè)濱河市粱坤,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌瓷产,老刑警劉巖站玄,帶你破解...
    沈念sama閱讀 216,744評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異濒旦,居然都是意外死亡株旷,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,505評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)尔邓,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)晾剖,“玉大人,你說(shuō)我怎么就攤上這事梯嗽〕菥。” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,105評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵灯节,是天一觀的道長(zhǎng)循头。 經(jīng)常有香客問(wèn)我绵估,道長(zhǎng),這世上最難降的妖魔是什么卡骂? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,242評(píng)論 1 292
  • 正文 為了忘掉前任国裳,我火速辦了婚禮,結(jié)果婚禮上全跨,老公的妹妹穿的比我還像新娘缝左。我一直安慰自己,他們只是感情好浓若,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,269評(píng)論 6 389
  • 文/花漫 我一把揭開(kāi)白布渺杉。 她就那樣靜靜地躺著,像睡著了一般七嫌。 火紅的嫁衣襯著肌膚如雪少办。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,215評(píng)論 1 299
  • 那天诵原,我揣著相機(jī)與錄音英妓,去河邊找鬼。 笑死绍赛,一個(gè)胖子當(dāng)著我的面吹牛蔓纠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播吗蚌,決...
    沈念sama閱讀 40,096評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼腿倚,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了蚯妇?” 一聲冷哼從身側(cè)響起敷燎,我...
    開(kāi)封第一講書(shū)人閱讀 38,939評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎箩言,沒(méi)想到半個(gè)月后硬贯,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,354評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡陨收,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,573評(píng)論 2 333
  • 正文 我和宋清朗相戀三年饭豹,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片务漩。...
    茶點(diǎn)故事閱讀 39,745評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡拄衰,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出饵骨,到底是詐尸還是另有隱情翘悉,我是刑警寧澤,帶...
    沈念sama閱讀 35,448評(píng)論 5 344
  • 正文 年R本政府宣布居触,位于F島的核電站镐确,受9級(jí)特大地震影響包吝,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜源葫,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,048評(píng)論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望砖瞧。 院中可真熱鬧息堂,春花似錦、人聲如沸块促。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,683評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)竭翠。三九已至振坚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間斋扰,已是汗流浹背渡八。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,838評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留传货,地道東北人屎鳍。 一個(gè)月前我還...
    沈念sama閱讀 47,776評(píng)論 2 369
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像问裕,于是被迫代替她去往敵國(guó)和親逮壁。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,652評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 文章主要分為:一粮宛、深度學(xué)習(xí)概念窥淆;二、國(guó)內(nèi)外研究現(xiàn)狀巍杈;三忧饭、深度學(xué)習(xí)模型結(jié)構(gòu);四秉氧、深度學(xué)習(xí)訓(xùn)練算法眷昆;五、深度學(xué)習(xí)的優(yōu)點(diǎn)...
    艾剪疏閱讀 21,832評(píng)論 0 58
  • 好煩啊汁咏,其實(shí)自己是想做牛夢(mèng)迪那樣的人的亚斋,但是又不知道該怎么做,考慮的事情有很多攘滩,其實(shí)覺(jué)得還是做自己比較自在帅刊,那就做...
    a2fe3d8f488b閱讀 146評(píng)論 0 0
  • 摘要: 本篇是對(duì)筆者上一篇文章 Android進(jìn)階 - 二維碼生成 的一點(diǎn)補(bǔ)充。 效果圖: 工具類(lèi): 本篇不再重復(fù)...
    夢(mèng)想編織者灬小楠閱讀 11,863評(píng)論 9 39
  • 前天漂问,我生日赖瞒。 弟弟買(mǎi)了粉色花瓣做成的蛋糕女揭,這個(gè)蛋糕是我長(zhǎng)這么大最漂亮的也很好吃的生日蛋糕,我們還做了一桌子可口的...
    暖陽(yáng)灑灑閱讀 188評(píng)論 0 0
  • 文 | 風(fēng)的衣裳 1919年的春天,細(xì)雨霏霏袍嬉。傍晚境蔼,江蘇南通一大戶(hù)人家的庭院,一間安靜的房間伺通,一個(gè)女子倚在床榻上箍土,...
    風(fēng)的衣裳閱讀 2,847評(píng)論 29 33