泛函分析

2.1 函數的定義

在理解泛函之前齿椅，我們首先需要重新審視函數這個基本概念节芥。

函數可以說是在基本的分析問題中最常見的基本概念了裹虫。絕大多數人不會嚴格去思考函數的意義，而習慣于被動地使用它們滑燃。但理解函數本身對于理解泛函是有很大的幫助的。所以我們先從數學上嚴格定義函數颓鲜。

我們知道表窘，函數有自變量和因變量。函數的自變量可以用基本的向量

來表示甜滨。而函數則是向量空間
上的映射乐严。這里的兩個數學符號需要解釋一下。 數學上叫做基矢衣摩，它的意義是這個方向上的單位向量昂验，它的長度為1，方向指向方向艾扮。則是“直積”的意思既琴，引入它的目的是為了擴展向量的涵義。向量本質上是一維的量泡嘴，通過直積甫恩，就可以構建二維的，三維的乃至任意維度的有方向的量酌予。實際上磺箕，可以將它看作構建坐標軸的代數表述纹腌。因為幾何上構造坐標軸非常簡單，就是畫出來滞磺。但代數上則比較抽象升薯。舉個例子，如果存在多個方向击困，比如三維空間涎劈，就存在 三個方向
，那么
就代表了三維坐標軸阅茶。因此() 就表示N維空間中的坐標軸蛛枚。函數的作用是將 映射到指定的空間, 即

這種數學定義看起來比較難懂，但實際上很多概念都是從這個簡單的函數定義延伸出來的脸哀。

既然是表述方向蹦浦，那么向量空間 的各個方向的分量就必須是“正交歸一的”。正交歸一性包含兩重含義撞蜂，其一是“正交性”盲镶，它表示對于任意兩個不同的方向矢量, 它們都是互相垂直的。數學上的表示是內積為零

在這里我們將 蝌诡， 是一種約定俗稱的縮寫記號溉贿。

內積為零這個正交性要求是非常重要的。因為如果兩個不同方向的方向矢量內積不為零浦旱，就會導致在一個方向上的變化會影響另一個方向宇色，物理上這種問題叫做量子糾纏態(tài)。這種糾纏問題在分析上就會造成非常嚴重的困難颁湖，原本的簡單線性問題就會極其復雜宣蠕，而且本質上無法完全求解。很多人學到無監(jiān)督學習的時候會使用PCA方法來降維甥捺，但是不明白為什么要降維抢蚀。實質上根本原因就是要讓基矢盡可能正交化。另外涎永，對于監(jiān)督學習來說思币，如果選取的特征（features）不佳，就會選到高度相關的多個特征羡微，這同樣對于算法來說是一個災難性的選擇谷饿。雖然說矩陣計算可以做到將這些相關性較高的特征主值求逆，但最終學習結果仍然是泛化能力很差妈倔。

內積為零幾何上代表的是互相垂直博投，但是內積的代數表述到底是什么呢？其實很簡單盯蝴，對于方向矢量來說毅哗，總可以表示成一個行矩陣或者列矩陣听怕。我們習慣上使用列矩陣。比如在第5個方向上的方向矢量虑绵，用矩陣表述就是

其中表示我們在使用矩陣表示尿瞭。那么如何用矩陣表達呢？很簡單
這里的的上指標 表示矩陣的轉置（transpose）翅睛，它將一個矩陣逆時針旋轉90度声搁，轉成一個矩陣。在上面的例子中捕发，它將這個(N,1)列矩陣轉成了一個行矩陣疏旨。

至于“歸一性”，實質上就是說方向矢量的長度是1扎酷。這個定義也可以用內積或者矩陣乘法來表示檐涝。即，這個歸一性在線性回歸分析中就體現為要對所有的特征做標度變換操作法挨。比如通過房屋的大小谁榜，房間的數量等特征來預測房屋的價格。房屋的大小一般接近100平方米坷剧，而房間數一般只有2到5個惰爬。那么如果不進行歸一化操作，采取同樣的遞歸速率就會導致在“大小”這個特征上的回歸速率比在“房間數”這個特征上的回歸速率慢20到50倍惫企，這顯然是極大的浪費算力。

回到函數的定義上來陵叽，函數實質上是定義了從定義域到值域（兩者都是向量空間）的映射狞尔。如果函數是映射到具體的數的，那么這樣的函數就是標量函數巩掺。如果函數是映射到向量的偏序，那么就是一個矢量函數。如果函數是映射到值域上的張量的胖替，那么就是張量函數研儒。如果我們的函數是標量函數。那么在坐標軸空間畫出來独令，就是一根曲線或者一個曲面或者一個復雜的幾何體端朵。但無論這個幾何體多復雜，它上面每一個點都可以用
標記它的位置燃箭。用 標記它的值冲呢。如果對于定義域有取值范圍，比如0到1之間招狸，那么得到的值域也就同樣是受到約束的敬拓。如果手動限制一個函數邻薯，可以采用如下的常見定義：

是約束函數，它限定了定義域的區(qū)間乘凸。

這樣引入約束的辦法很機械厕诡，而且對于計算機來說，事先定義出約束是很困難的营勤。所以有沒有一種“自動化”引入約束的辦法木人？實際上當然存在這樣的辦法，我們將上面的式子改寫成

這樣冀偶，要使得上式取極值醒第，就必須有
這恰好就給出了約束方程
.這種引入約束的方法在泛函的分析中尤為重要，它一般被稱作拉格朗日乘子法进鸠。

對于矢量函數或者張量函數稠曼，定義域中每一個位置除了定義出了值域中的一個數值之外，還定義出了在這個數值上的方向客年。這樣定義出來的“東西”幾何上已經不是曲線霞幅，曲面或者某個怪異幾何體了。它有個非常數學化的稱呼：纖維叢量瓜。關于纖維叢的概念司恳，已經超出了本文的討論范圍，暫時不表绍傲。