引言

在學(xué)習(xí)線性回歸模型的時候就會遇到基函數(shù)辞居，可能我們會遇到多項式基函數(shù)楷怒、高斯基函數(shù)、sigmoid基函數(shù)瓦灶，當(dāng)然在高等數(shù)學(xué)和信號系統(tǒng)中還經(jīng)常會碰到傅里葉基鸠删。有時候，不禁要問倚搬，這些基函數(shù)為什么這么設(shè)計冶共？這些基函數(shù)的作用是什么？
后來發(fā)現(xiàn)基函數(shù)是核方法和字典訓(xùn)練的基礎(chǔ)每界，于是乎捅僵，我逐漸有了一些例如特征轉(zhuǎn)換和映射、字典元素的概念眨层。不過還是對基函數(shù)與函數(shù)空間的關(guān)系庙楚、基函數(shù)的深層認(rèn)識模棱兩可。我希望能通過這篇文章趴樱，來探究這些東西馒闷。

基函數(shù)

在數(shù)學(xué)中，基函數(shù)是函數(shù)空間一組特殊的基的元素叁征。對于函數(shù)空間中的連續(xù)函數(shù)都可以表示成一系列基函數(shù)的線性組合纳账，就像是在向量空間中每個向量都可以表示成基向量的線性組合一樣。
在數(shù)值分析和近似理論中捺疼，基函數(shù)也稱為混合函數(shù)（blending function）疏虫，因為其在插值（interpolation）的應(yīng)用
。
舉例：
多項式基：{1啤呼，t, t^{2}是實系數(shù)二次多項式集合的基卧秘，每一個形如a+bt+ct}2的二次多項式都可以寫成由基函數(shù)1、t官扣、t^2組成的線性組合翅敌。另外，{(t-1)(t-2)/2, -t(t-2), t(t-1)/2}是二次多項式的另一組基惕蹄，稱為拉格朗日基（Lagrange basis）蚯涮。
傅里葉基：余弦函數(shù)構(gòu)成了平方可積函數(shù)的（正交）Schauder基。

說說徑向基函數(shù)

徑向基函數(shù)有個類似高斯函數(shù)的形狀卖陵，我們可以看到下面的圖像恋昼，不同的系數(shù)，有不同的函數(shù)圖像：

下面的三組圖像是三個徑向基函數(shù)在不同的權(quán)重的線性組合下的曲線形態(tài)：

我們知道赶促，線性回歸模型可以看做是目標(biāo)函數(shù)加入了高斯噪聲模型液肌，其概率模型形式為：

<a href="http://www.codecogs.com/eqnedit.php?latex=p(t|X,\delta^{2)=\frac{1}{(2\pi)}{N/2}|K|^{{1/2}}exp(-\frac{1}{2}t}TK^{-1}t)" target="_blank">

p(t|X,\delta^2)=\frac{1}{(2\pi)^{N/2}|K|^{1/2}}exp(-\frac{1}{2}t^TK^{-1}t)

<a href="http://www.codecogs.com/eqnedit.php?latex=K=\alpha&space;XX^{T&plus;\delta}2I&space;\Rightarrow&space;K=\alpha&space;\Phi&space;\Phi^{T&space;&plus;&space;\delta}2I" target="_blank">

K=\alpha XX^T+\delta^2I \Rightarrow K=\alpha \Phi \Phi^T + \delta^2I

<a href="http://www.codecogs.com/eqnedit.php?latex=\Phi&space;=&space;\begin{bmatrix}&space;1&space;&&space;x_1&space;&&space;x_1^{2&space;\&space;1&space;&&space;x_2&space;&&space;x_2}2&space;\&space;:&space;&&space;:&space;&&space;:&space;\&space;1&space;&&space;x_n&space;&&space;x_n^2&space;\end{bmatrix}" target="_blank">

\Phi = \begin{bmatrix} 1 & x_1 & x_1^2 \ 1 & x_2 & x_2^2 \ : & : & : \ 1 & x_n & x_n^2 \end{bmatrix}

<a href="http://www.codecogs.com/eqnedit.php?latex=\Phi&space;=&space;\begin{bmatrix}&space;exp(-2(x_1-1)^{2)&space;&&space;...&space;\&space;exp(-2(x_2-1)}2)&space;&&space;...&space;\&space;:&space;&&space;:&space;\&space;exp(-2(x_n-1)^2)&space;&&space;...&space;\end{bmatrix}" target="_blank">

\Phi = \begin{bmatrix} exp(-2(x_1-1)^2) & ... \ exp(-2(x_2-1)^2) & ... \ : & : \ exp(-2(x_n-1)^2) & ... \end{bmatrix}

由于徑向基函數(shù)是一種局部基函數(shù)(localized basis function)，那么距離基函數(shù)中心比較遠的區(qū)域老速，數(shù)據(jù)項對方差的貢獻將趨于零粥喜，只剩下噪聲的貢獻。因此橘券，對于基函數(shù)所在的區(qū)域之外的區(qū)域進行外插的時候额湘，模型對于它做出的預(yù)測會變得相當(dāng)確定，這不是我們想要的結(jié)果旁舰，可以用高斯過程這種貝葉斯回歸方法來避免锋华，這也就引入了徑向基核函數(shù)這種無限維的特征轉(zhuǎn)換。
下面的特征變換是由三個不同參數(shù)的徑向基函數(shù)組成的箭窜，這里看到協(xié)方差矩陣的圖像中對角線區(qū)域毯焕，藍色部分是由噪聲貢獻的，而紅色區(qū)域是由基函數(shù)貢獻的磺樱。

徑向基函數(shù)與插值

徑向基函數(shù)可以看作是一個高維空間中的曲面擬合（逼近）問題，學(xué)習(xí)是為了在多維空間中尋找一個能夠最佳匹配訓(xùn)練數(shù)據(jù)的曲面竹捉，然后來一批新的數(shù)據(jù)芜辕，用剛才訓(xùn)練的那個曲面來處理（比如分類、回歸）块差。徑向基函數(shù)的本質(zhì)思想是反向傳播學(xué)習(xí)算法應(yīng)用遞歸技術(shù)侵续，這種技術(shù)在統(tǒng)計學(xué)中被稱為隨機逼近。徑向基函數(shù)就是在神經(jīng)網(wǎng)絡(luò)的隱單元里提供了提供了一個函數(shù)集憾儒，該函數(shù)集在輸入模式（向量）擴展至隱空間時，為其構(gòu)建了一個任意的“基”乃沙。這個函數(shù)集中的函數(shù)就被稱為徑向基函數(shù)起趾。

徑向基函數(shù)是一種精確插值器，其方法方法不同于全局和局部多項式插值器警儒，它們都不是精確插值器（不要求表面穿過測量點）训裆。徑向基函數(shù)還可預(yù)測大于最大測量值和小于最小測量值的值。
徑向基函數(shù)用于根據(jù)大量數(shù)據(jù)點生成平滑表面蜀铲。這些函數(shù)可為平緩變化的表面生成很好的結(jié)果边琉。但在表面值在短距離內(nèi)出現(xiàn)劇烈變化和/或懷疑樣本值很可能有測量誤差或不確定性時，這些方法不適用记劝。

徑向基核函數(shù)

我們先看一下為什么說徑向基核函數(shù)（高斯核函數(shù)）是無限維的特征轉(zhuǎn)換吧变姨。
將徑向基核函數(shù)做泰勒展開形式如下：

<a href="http://www.codecogs.com/eqnedit.php?latex=k(x,x')=exp(-(x-x')^2)=exp(-x2)exp(-x'^{2)exp(2xx')&space;=exp(-x}2)exp(-x'^{2)[\sum_{i=0}}{\infty&space;}\frac{(2xx')^{i}{i!}]&space;=\sum_{i=0}}{\infty&space;}[exp(-x^2)exp(-x'2)\sqrt{\frac{2^{i}{i!}}\sqrt{\frac{2}i}{i!}}x^ix'i]&space;=\Phi(x)^T\Phi(x')" target="_blank">

k(x,x')=exp(-(x-x')^2)=exp(-x^2)exp(-x'^2)exp(2xx') =exp(-x^2)exp(-x'^2)[\sum_{i=0}^{\infty }\frac{(2xx')^i}{i!}] =\sum_{i=0}^{\infty }[exp(-x^2)exp(-x'^2)\sqrt{\frac{2^i}{i!}}\sqrt{\frac{2^i}{i!}}x^ix'^i] =\Phi(x)^T\Phi(x')

<a href="http://www.codecogs.com/eqnedit.php?latex=\Phi(x)=exp(-x^{2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2}2}{2!}}x^2,...)" target="_blank">

\Phi(x)=exp(-x^2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}x^2,...)

我們看到了徑向基核函數(shù)，是xi和xj數(shù)據(jù)之間歐氏距離的函數(shù)厌丑。
下面是核矩陣和抽樣的圖像：

從上圖看到定欧，徑向基核函數(shù)以每個數(shù)據(jù)點為中心進行建模渔呵，在有數(shù)據(jù)的區(qū)域貢獻隨機變量的方差，而不再像用單一的徑向基函數(shù)只在函數(shù)中心保有對方差的貢獻砍鸠。上圖同樣說明扩氢，相鄰的數(shù)據(jù)有強相關(guān)性，而相離的數(shù)據(jù)沒有什么相關(guān)性爷辱，即紅色區(qū)域和藍色區(qū)域說明的情況录豺。
這是高斯過程模型的基礎(chǔ)，相比貝葉斯線性模型而言饭弓，高斯過程不再對模型參數(shù)進行建模（通過對參數(shù)分布進行采樣双饥，再進行不同基函數(shù)模型的組合），而是直接對數(shù)據(jù)進行相應(yīng)操作示启。

函數(shù)空間淺顯解釋

空間是數(shù)學(xué)抽象出來描述具有某些特殊性質(zhì)和結(jié)構(gòu)的集合兢哭。學(xué)過線性代數(shù)的人都知道線性空間，向量是線性空間的基本元素夫嗓〕俾荩空間中還有一個很重要的概念是基。為什么要有基舍咖？是為了更好的描述空間矩父。比如說三維空間，這個空間里面的元素的個數(shù)是不可數(shù)的（也就是和自然數(shù)集找不到一一對應(yīng)的關(guān)系）排霉，所以一一列出來是不可能的窍株。數(shù)學(xué)家想出了一個很好的辦法，用任意三個不共面向量的線性組合來表示這個空間中的任意一個元素攻柠。
有了上面的概念球订，我們可以理解函數(shù)空間就是滿足一定性質(zhì)和結(jié)構(gòu)的函數(shù)集合，組成這個空間的元素都是滿足一定條件的函數(shù)瑰钮。所以冒滩，這個函數(shù)空間里面的所有元素都是函數(shù)，而且這個空間其實是無窮維的浪谴，基有無窮多個开睡。
因為我是通信專業(yè)的，現(xiàn)在用傅里葉變換來理解一下函數(shù)空間苟耻。傅里葉變換就是給出了一組基篇恒，要求求出利用每個基線性組合成這一信號（函數(shù)）的組合系數(shù)，或者說是在這組基下的坐標(biāo)凶杖。傅里葉變換的美妙之處就在于這組基取得實在是太好了胁艰。為什么呢？首先他們是正交的，更主要的是它還和自然界的情況有著微妙的聯(lián)系蝗茁。自然界中的水波醋虏、音波、電磁波等等哮翘，如果用數(shù)學(xué)抽象颈嚼，顯然是三角函數(shù)。在振蕩電路饭寺、模擬通信等等領(lǐng)域中阻课，使用三角函數(shù)形式的波形的好處也是非常多的〖璩祝可以看到限煞，傅里葉變換在一維信號處理領(lǐng)域獲得了很大的成功。需要指出的是员凝，傅里葉變換在二維信號處理領(lǐng)域署驻，比如說在圖像處理領(lǐng)域的缺點就很多了。直觀上健霹，圖像的周期現(xiàn)象似乎不是那么明顯旺上。而且從一維情況轉(zhuǎn)換到二維情況，復(fù)雜度成倍增加糖埋。

轉(zhuǎn)載請注明作者Jason Ding及其出處
Github博客主頁(http://jasonding1354.github.io/)
GitCafe博客主頁(http://jasonding1354.gitcafe.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
簡書主頁(http://www.reibang.com/users/2bd9b48f6ea8/latest_articles)
Google搜索jasonding1354進入我的博客主頁