圖像如函數(shù)

好久沒寫博客了尖啡，寫一波婉宰。此為umich eecs504的第二課筆記妙色。

圖像分類

完美圖像

完美圖像（perfect image）是連續(xù)圖形，完美圖像由一個(gè)物理過程所產(chǎn)生赵辕。

將這個(gè)物理過程用I所表示既绩，他們代表了從平面上的點(diǎn)到一個(gè)數(shù)字的映射，即

$I: R^2\rightarrow R$

Remark: $0<I(\cdot)<\infty$

Remark: 抽象后我們可以將定義域看作超平面上的點(diǎn)匆帚，其維度可以超過2 熬词。如此旁钧，哦我們可以將它們定義成一個(gè)映射：

$I: R^k \rightarrow R$

由所經(jīng)受的物理過程所決定

Remark: 完美圖像僅在無法取樣的時(shí)候存在抽象化吸重。

例子：朗伯模型（Lambertian Image）

朗伯模型是一個(gè)經(jīng)典的漫反射模型。朗博模型中光的反射量由入射角的余弦角所決定歪今。

考慮一個(gè)點(diǎn) $x \in R^3$ 在朗伯表面上嚎幸，其對此表面的法向量 $n(x)$ 。入射角的方向是 $l(x)$ 寄猩。此時(shí)反射可以寫作：

$R(x) = \rho l(x)^Tn(x)$

其中 $\rho$ 是一個(gè)常量嫉晶，用于描述材料屬性。

仍和的反射光與我們的圖像平面相交時(shí)田篇，都會引起我們的完美圖像

$I(u) = P(R(x))$

其中P投影函數(shù)替废，I(u)是投影的能量

問題：朗伯模型的缺點(diǎn)是什么？

朗伯模型難以對光滑的表面泊柬，比如金屬椎镣，進(jìn)行建模。此時(shí)我們需要Phong模型兽赁。

lambertian.png

數(shù)字圖像

雖然我們不能直接獲得完美圖像状答，但是我們可以通過電子設(shè)備將其轉(zhuǎn)換之。如此做刀崖，我們可以通過量化和取樣完美圖像來獲得數(shù)字圖像惊科。

定義：數(shù)字圖像是取樣和量化完美圖像所獲得。它們展現(xiàn)出從點(diǎn)到非負(fù)自然像素（non-negative natural pixels)到自然數(shù)的映射

$N_0 ^2\rightarrow N_0$

Remark：數(shù)字化是一個(gè)投影( $R^2 \rightarrow R$ )

Remark：“取樣”指的是坐標(biāo)值的數(shù)字化亮钦，“量化”指的是（能量馆截，亮度）強(qiáng)度值的數(shù)字化。

Remark：取樣密度由傳感器的物理限制所約束

Remark：量化深度由特殊的硬件所決定蜂莉。8bit的量化廣泛應(yīng)用于數(shù)字化的圖像蜡娶。

Remark：在特定的數(shù)字化情境下（可能指Bayer pattern）完美圖像被用于梳理感興趣的信號。

數(shù)字圖像建模

對數(shù)字圖像的數(shù)學(xué)解釋

一個(gè)從像素到數(shù)字的離散函數(shù)
作為對于原來完美圖像的一個(gè)近似巡语，我們對一個(gè)函數(shù)的值域和定義域進(jìn)行了一個(gè)泛化翎蹈，并且用函數(shù)的形式呈現(xiàn)出來。（We generalize domain and range of this function to once again consider a continuous image, albeit an approximate one to our original perfect image男公，這句話有點(diǎn)離譜）

定義：一個(gè)離散圖像是一個(gè)數(shù)字圖像的自然數(shù)的數(shù)字型概述荤堪。它獲取數(shù)字圖像中的整數(shù)像素位置并且將其映射到整數(shù)像素值上合陵。 $I:Z^3\rightarrow Z$

Remark：它可以表示更高維的圖像，比如 $Z^3$ （視頻）澄阳，并且值域維度也可以更高拥知，比如 $Z^ 3$ （三色圖像）。

Remark：我們將一個(gè)圖像的值于的整數(shù)的子集稱作 $\Lambda$

例子：Potts 模型

Potts模型是一個(gè)離散圖像模型碎赢。Potts模型最初在統(tǒng)機(jī)物理學(xué)中作為雙態(tài)化模型（two-state Ising model）的推廣而派生出來的低剔。它假定了一個(gè)分段常熟圖像信號。對于大小為 $n\times n$ 的圖像肮塞，我們將其寫作能量泛函（energy functional）襟齿。

$E(I)=\beta \Sigma^{n-1}_{s=1}\Sigma^{n}_{t=1}(1[I(s, t)\neq(s+1, t)]+\beta \Sigma^{n-1}_{s=1}\Sigma^{n}_{t=1}(1[I(s, t)\neq(s, t+1)])$

$\beta$ 是一個(gè)建模常數(shù)，最初與所研究的材料的物理性質(zhì)有關(guān)枕赵，我們忽略了區(qū)域上的邊界條件 $1$ 是指示器函數(shù)猜欺。根據(jù)Potts模型的定義，我們發(fā)現(xiàn)模型的能量正比于橫縱像素的變化拷窜。當(dāng)圖像 $I$ 由大的恒定取與开皿，他將具有相應(yīng)的能量。

定義：一個(gè)連續(xù)圖像可以將離散圖像泛化（generalize）為定義域與值域篮昧。

Remark：對于離散圖像的相似的定義域和值于的泛化可以用于連續(xù)模型

Remark：離散與連續(xù)混合的表現(xiàn)是非常常見的

Remark：插值赋荆。通過數(shù)字化過程，最初的完美圖像已經(jīng)被量化到整數(shù)坐標(biāo)了懊昨。為了研究連續(xù)圖形并分析窄潭，我們需要不斷地對非整數(shù)坐標(biāo)進(jìn)行插值。

圖像操作

在圖像的函數(shù)解釋下疚颊，我們可以用數(shù)學(xué)的角度去處理圖像狈孔。

在圖像的函數(shù)解釋下，圖像的三個(gè)主要操作：

空間范圍操作（Spatial Range Operation）如計(jì)算圖像所有強(qiáng)度值的和
范圍映射操作（Range map operation）比如計(jì)算圖的差別
定義域操作或幾何變換比如平移和旋轉(zhuǎn)

空間范圍操作

空間范圍操作講一個(gè)區(qū)域內(nèi)所有信息集合起來材义，將一個(gè)圖像的區(qū)域定義成 $W\subseteq \Lambda \subseteq Z^2$ 均抽。其中W代表一張圖像中的窗口（windows）。

定義：一個(gè)空間范圍操作 $f$ 是一個(gè)講一張圖映射到一個(gè)實(shí)數(shù)的函數(shù)

$f: W\times(Z^2\rightarrow Z)\rightarrow R / W \times I \rightarrow R$

其中 $I$ 為圖像本身其掂。

Remark：我們使用縮寫 $I[W]$ 來表示定義域由 $W$ 所截取的新圖油挥，這種新圖也叫子圖（sub-image），或者image patch款熬。

Remark：我們可以講 $W$ 當(dāng)作一種函數(shù)深寥，當(dāng) $W=\Lambda\rightarrow B^{\Lambda}$ 時(shí)，這種函數(shù)講像素映射到 $B=\{0, 1\}$ 贤牛。我們可以將mask應(yīng)用在圖像上惋鹅。在空間范圍操作應(yīng)用之前，我們也可以基于窗口 $W$ 在函數(shù) $f$ 上實(shí)現(xiàn)特殊的定義域殉簸。

Remark：一個(gè)空間范圍操作是線性的當(dāng)

$f_W(\alpha_i I_i + \alpha_j I_j)=\alpha_i f_W(I_i)+\alpha_jf_W(I_j)$

$\alpha_i$ 與 $\alpha_j$ 是任意常標(biāo)量闰集。

Remark：空間范圍操作可以在圖像領(lǐng)域中被組合去組成復(fù)雜的操作符沽讹。

范圍映射操作

范圍映射擦歐總作用于圖像值域，他們將單個(gè)操作作用域整個(gè)圖像域 $\Lambda$

定義：一個(gè)范圍映射操作 $g:(W\times I \rightarrow R)\times I \rightarrow J$ 對于圖像 $J$ 來說武鲁，是一個(gè)函數(shù) $f$ 作用域圖像定義域 $\Lambda$ 的每一個(gè)空間中爽雄，范圍映射操作會產(chǎn)生一個(gè)新的圖像。

圖像 $J$ $f: W \times I \rightarrow R$

procedure GENERIC_RANGE_MAP_OPERATOR:
foreach pixel s $\in \Lambda_J$ do

? let $W_s$ be the window into $\Lambda$ at centered at s

? $J(s)=f(I, W_s)$

? end for

end procedure

Remark：范圍映射操作的輸出集是實(shí)數(shù)集沐鼠。實(shí)際操作上挚瘟，它常被放寬到實(shí)數(shù)或者其他的范圍。

Remark：范圍映射操作通常被用于一個(gè)被稱作強(qiáng)度轉(zhuǎn)換（intensity transformations）的像素窗口饲梭。文獻(xiàn)中存在許多可能的強(qiáng)度變換 (very many possibly intensity transformations exist in the literature乘盖，不會翻譯)并且包括了操作符比如直方圖均衡化（histogram equalization），線性放大（linear scaling）或者log轉(zhuǎn)換等排拷。

例子單像素范圍映射強(qiáng)度轉(zhuǎn)換侧漓。一個(gè)強(qiáng)度轉(zhuǎn)換的例子是對負(fù)圖像的轉(zhuǎn)換。每一個(gè)新像素的值是輸入值的負(fù)值监氢。

$J(S)=-I(S)$

Remark：一個(gè)特殊的范圍映射例子是映射到二進(jìn)制像素而不是實(shí)數(shù)：

$g:(W\times I\rightarrow B)\times I \rightarrow B$

對于二進(jìn)制圖像 $B$ 。

例子二進(jìn)制函數(shù)的范圍映射

考研率一個(gè)二進(jìn)制閾值操作符 $f_b$ 藤违。在一個(gè)確定的范圍對每一個(gè)像素窗口浪腐， $f_b$ 選擇像素值 $(\Gamma^-\le I[W]\le \Gamma^+)$ 。

$f_b(I[W];\Gamma^-,\Gamma^+)=\left\{ \begin{aligned} 1\quad & \Gamma^-\leq I[W]\leq\Gamma^+\\ 0\quad & otherwise \end{aligned} \right.$

或在更大的窗口中使用空間范圍操作符顿乒，比如：

$f_b(I议街，W;\Gamma^-,\Gamma^+)=\left\{ \begin{aligned} 1\quad & \Gamma^-\leq sum(I, W)\leq\Gamma^+\\ 0\quad & otherwise \end{aligned} \right.$

Remark：在一個(gè)范圍操作符中，空間范圍操作在一個(gè)大窗口 $W$ 將應(yīng)用相同的操作在這個(gè)圖的每一個(gè)區(qū)域內(nèi)璧榄。

Remark：一個(gè)特別重要的參數(shù)在一個(gè)空間操作符中的是核（kernel）特漩。一個(gè)核 $\kappa$ 是一個(gè)與 $W$ 大小相同的矩陣。核的值都是實(shí)數(shù)骨杂， $\kappa\in\mathbb{R}^{|W|}$ 涂身。在核操作中，核 $\kappa$ 與圖像窗口 $I[W]$ 的元素積操作被計(jì)算與累加起來搓蚪。這個(gè)操作最容易被向量化的核 $\kappa$ 與圖像窗口 $I[W]$ 的點(diǎn)積所表示蛤售。向量化一個(gè)矩陣代表連接一個(gè)矩陣的所在列，并且將其連成一個(gè)長列向量妒潭。

當(dāng)核操作被應(yīng)用于整個(gè)圖像中的一個(gè)范圍映射的時(shí)候悴能，我們可以將這個(gè)過程稱作離散卷積，并用符號 $\otimes$ 表示雳灾。我們?yōu)榱溯敵鰣D像位置 $J(s, t)$ 而寫下這個(gè)卷積漠酿。核的大小是 $2m+1\times 2m+1$ 因此一個(gè)窗口可以索引至 $s-m ...s+m$ 與 $t-n ... t+n$ 被寫作

$J(s, t) = \kappa \otimes I[W]=\Sigma^m_{k=-m}\Sigma^n_{l=-n}\kappa(k,l)I(s-k, t-l)=\vec{\kappa}^TI\vec{[W]}$

我們將核映射應(yīng)用于所有位置，適當(dāng)?shù)乜紤]圖像邊界谎亩，即簡單的說 $\kappa\otimes I$ 炒嘲，它是創(chuàng)建圖像的函數(shù)谈竿。這里有一個(gè)卷積的連續(xù)模擬，但是我們暫不進(jìn)行討論摸吠。假如維度與核相匹配空凸，這個(gè)操作可以清晰地泛化到高維。

例子離散圖像求導(dǎo)

在圖像的函數(shù)解釋下寸痢，像這樣的計(jì)算式非常正常的呀洲。

對 $I(x, y)$ 的部分求導(dǎo)是

$\frac{\partial I(x,y)}{\partial x} = lim_{h\rightarrow 0}\frac{I(x+h, y)-I(x, y)}{h}$

考慮一個(gè)離散圖像模型，我們有一個(gè)固定的值 $h$ 可以讓我們?nèi)タ紤]一個(gè)有限（離散）差別的解釋：

$\frac{dI(x,y)}{dx}=\frac{I(x+h,y)-I(x,y)}{h}$

最后啼止，考慮到離散圖像 $I$ 道逗，我們可以將 $h$ 設(shè)為1來表示一個(gè)像素的差別。我們將有限差別符設(shè)為 $\nabla_x=\frac{dI(x,y)}{dx}=I(x+1,y)-I(x,y)$

將其用于核中献烦，則縱向?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=%5Ckappa%3D%5B1%2C-1%5D%5ET" alt="\kappa=[1,-1]^T" mathimg="1">滓窍，橫向?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=%5Ckappa%3D%5B1%2C-1%5D" alt="\kappa=[1,-1]" mathimg="1">

Remark：范圍操作可以是二元，三元巩那，或者同時(shí)任意數(shù)字

例子圖像拉普拉斯與0-crossing

考慮圖像 $I$ 被核 $\kappa_1$ 與 $\kappa_2$ 所卷積處理吏夯， $\kappa_1$ 與 $\kappa_2$ 是分別從 $\sigma=1$ 與 $\sigma=2$ 的高斯函數(shù)中取樣出來。將卷積出來的圖像稱為 $G_1$ 與 $G_2$ 即横。取兩者之差 $G_2-G_1$ 噪生。可以發(fā)現(xiàn)圖像的邊緣被凸顯出來东囚。