寫在前面：關(guān)于為何要寫這個筆記抓韩？

關(guān)于學(xué)習(xí)與遺忘耻蛇，在考完這門課后涮瞻，我還能記得些什么呢搀暑？
引用mbinary的文章：https://mbinary.xyz/learning-and-forgetting.html

http://www.ishenping.com/ArtInfo/257070.html

1.舉例解釋連通悖論
2.給了兩個模板，求相應(yīng)的連續(xù)算子是什么（其中一個是拉普拉斯算子）（考點(diǎn)：離散空域?yàn)V波模板與線性算子對應(yīng)關(guān)系）光戈；sobel算子拓展原理哪痰，以及拓展后的優(yōu)勢
3.簡述canny算子和susan算子的步驟
4.求共生矩陣以及chanmfer distance
5.給了一副有噪聲的圖像以及處理后的圖新，問如何利用數(shù)學(xué)形態(tài)學(xué)方法實(shí)現(xiàn)
6.sift描述子的維數(shù)如何定義及各維數(shù)的含義久妆，shape context描述子的維數(shù)如何定義及各維數(shù)的含義
7.sift描述子如何實(shí)現(xiàn)平移晌杰，旋轉(zhuǎn)不變性，尺度不變性筷弦，亮度不變性肋演；如何進(jìn)行坐標(biāo)變換實(shí)現(xiàn)平移、旋轉(zhuǎn)烂琴、尺度不變性
8.水平集圖像分割基本思想爹殊；PPT上演化方程的推導(dǎo)
9.求鏈碼和形狀數(shù)
10.二維光流方程推導(dǎo)

各章重點(diǎn)：

綜合性質(zhì)：

• 幾個旋轉(zhuǎn)不變
• 計(jì)算復(fù)雜度

2、采樣量化奸绷，距離和范數(shù)梗夸，聯(lián)通。DFT的不變性質(zhì)号醉？拉普拉斯算子推導(dǎo)反症。幾種常用濾波器的關(guān)系和性質(zhì)辛块。
3、離散距離變換惰帽，和后面chamer distance一起考
4憨降、各種算子，共6個该酗。
5授药、水平集推導(dǎo)
6、這里的模板匹配和后邊的chamer distance 有什么不同嗎呜魄？ 霍夫變換
7悔叽、

https://blog.csdn.net/sunshine_lyn/article/details/85400015

先來看一下整體的課程安排。

• 第二章：相關(guān)圖像基礎(chǔ)爵嗅。
• 第三章：圖像數(shù)字化
• 第四章：邊緣檢測
• 第五章：圖像分割
• 第六章：模板匹配
• 第七章：目標(biāo)表達(dá)
• 第八章：目標(biāo)描述
• 第九章：局部視覺特征
• 第十章：形狀分析
• 第十一章：紋理分析
• 第十二章：二值形態(tài)學(xué)
• 第十三章：運(yùn)動分析

還有一點(diǎn)是各種復(fù)雜度的計(jì)算泊碑，比如Kmeans復(fù)雜度的計(jì)算涂籽。

第二章：相關(guān)數(shù)字圖像基礎(chǔ)

考試要點(diǎn)：

• 圖像增強(qiáng)與圖像恢復(fù)之間的聯(lián)系與區(qū)別

• 采樣與量化铝噩。

• 理解鄰接显拳、連接與連通

• 距離與范數(shù)之間的聯(lián)系與對應(yīng)關(guān)系。

• 離散傅里葉變換的性質(zhì)伪很，空域變化對應(yīng)的頻域變換

• 圖像增強(qiáng)的方法戚啥，直方圖修正，銳化锉试，平滑猫十，偽彩色。

• 圖像修復(fù)的基本模型呆盖，常用濾波器之間的關(guān)系拖云，對圖像有何定性影響。

第三章：數(shù)字化圖像

• 兩種量化方法：方盒量化和基于區(qū)域覆蓋的量化应又？宙项？？基本原理和不一致性株扛，適應(yīng)程度杉允。

• 數(shù)字弦和緊致弦 判別方法。

• 距離變換的定義席里，參考點(diǎn)到集合的而距離的串行和并行實(shí)現(xiàn)？

第四章：邊緣檢測

• 邊緣模型
• 邊緣檢測算子

第五章：圖像分割

• 閾值分割
• 區(qū)域生長法
• 分裂合并
• 分水嶺算法
• 聚類分割算法
• 主動輪廓分割
• GC圖割

第六章：模板匹配

• 相似度量：相關(guān)系數(shù)拢驾、平均交互信息量奖磁、不變矩
• 分層搜索
• hough變換

第七章：目標(biāo)表達(dá)

• 基于邊界的表達(dá)：連碼、多邊形近似
• 基于區(qū)域的表達(dá)：四叉樹繁疤、骨架
• 基于變換的表達(dá)：

第八章：簡單目標(biāo)描述：

• 基于邊界的描述
• 基于區(qū)域的描述
• 對目標(biāo)關(guān)系的描述

第九章：基于局部視覺特征的圖像表達(dá)

• 局部視覺特征描述
• 特征編碼與聚合

第十章：形狀分析

• 關(guān)于形狀的討論
• 聯(lián)通悖論咖为、上下文形狀

第十一章：紋理分析

第十二章：二值形態(tài)學(xué)

• 掌握擊中擊不中變換就可以了

第十三章：運(yùn)動分析

• 相機(jī)的運(yùn)動模型
• 二義性
• 幾種運(yùn)動表達(dá)
• 運(yùn)動估計(jì)的四個準(zhǔn)則

詳細(xì)復(fù)習(xí)信息

第二章：相關(guān)數(shù)字圖像基礎(chǔ)

考試要點(diǎn)：

• 圖像增強(qiáng)與圖像恢復(fù)之間的聯(lián)系與區(qū)別

圖像增強(qiáng)：指對圖像進(jìn)行加工秕狰，以使得視覺效果更好，改進(jìn)輸入圖像的視覺質(zhì)量的技術(shù)和過程躁染。
圖像恢復(fù)：基于圖像退化的模型和知識重建或恢復(fù)原始的圖像鸣哀。

圖像恢復(fù)與增強(qiáng)的目的類似，也是只在改善圖像的質(zhì)量吞彤。圖像恢復(fù)是力求保持圖像的本來面目我衬，即以保真原則為其前提，這是區(qū)別于增強(qiáng)的基本不同點(diǎn)饰恕。

• 采樣與量化挠羔。

圖像空間坐標(biāo)的離散化叫做空間采樣，幅度的離散化叫做幅度量化埋嵌。

采樣與量化的基本公式：

• 理解鄰接破加、連接與連通

鄰接只考慮相鄰像素之間的空間關(guān)系，連接除了考慮相鄰像素之間的空間關(guān)系之外雹嗦，還要考慮灰度值是否接近范舀。

連通是連接的擴(kuò)展，連接是聯(lián)通的一種特例了罪。

• 距離與范數(shù)之間的聯(lián)系與對應(yīng)關(guān)系锭环。

距離度量函數(shù)分為歐式距離，城區(qū)距離捶惜，棋盤距離田藐，分別對應(yīng)二范數(shù)，一范數(shù)吱七，無窮范數(shù)汽久。

• 離散傅里葉變換的性質(zhì)，空域變化對應(yīng)的頻域變換
  相加踊餐，平移景醇、旋轉(zhuǎn)、縮放（比例）吝岭、卷積

• 圖像增強(qiáng)的方法三痰，直方圖修正，銳化窜管，平滑散劫，偽彩色。
  直方圖修正包括直方圖均衡和直方圖匹配幕帆。
  直方圖均衡可以看做目標(biāo)直方圖為均勻直方圖的匹配获搏。
  直方圖匹配的三個步驟：1、對原始直方圖進(jìn)行灰度均衡化2失乾、規(guī)定需要的直方圖常熙，計(jì)算能使規(guī)定直方圖均衡化的變換3纬乍、講原始直方圖對應(yīng)映射到規(guī)定直方圖。

銳化：頻域銳化裸卫、空域銳化
空域銳化：高通濾波器仿贬，常見的巴特沃斯濾波器，指數(shù)型高通濾波器墓贿，梯形高通濾波器茧泪。

空域卷積：說白了就是求梯度，并且用梯度的膜代替梯度募壕。記一下典型的差分算子调炬。Roberts，sobel舱馅。拉普拉斯算子如何過渡到模板的缰泡。

平滑：空間頻率域低通濾波（同上）；空間域法：拒不平均代嗤、中值濾波棘钞、多針平均。定性分析影響干毅。
中值濾波可以去除椒鹽噪聲宜猜。

• 圖像修復(fù)的基本模型，常用濾波器之間的關(guān)系硝逢，對圖像有何定性影響姨拥。

線性位移不變系統(tǒng)加性噪聲。
椒鹽噪聲渠鸽、瑞麗噪聲叫乌、高斯噪聲、指數(shù)噪聲徽缚。

幾種常用濾波器：平均憨奸，幾何平均、調(diào)和平均凿试，反調(diào)和平均
幾何平均濾波器的平滑效果與算數(shù)平均相當(dāng)排宰，但損失的圖像細(xì)節(jié)較少。缺點(diǎn)那婉，計(jì)算復(fù)雜度高板甘。
算數(shù)均值和幾何均值都能衰減噪聲，但是幾何均值濾波器模糊程度較弱详炬。
調(diào)和均值濾波器對鹽噪聲效果較好虾啦，但是不適合處理椒噪聲，對其他噪聲如高斯噪聲也有較好的效果。
反調(diào)和平均傲醉，當(dāng)Q為正數(shù)，適合消除椒噪聲呻率，Q為負(fù)數(shù)硬毕，適合消除鹽噪聲。Q=0礼仗，退化為算數(shù)平均濾波器吐咳，Q=-1退化為諧波均值濾波器。
算數(shù)平均和幾何平均適合處理高斯噪聲元践。

• 雙向線性插值公式

第三章：數(shù)字化圖像

• 兩種量化方法：方盒量化和基于區(qū)域覆蓋的量化韭脊？？单旁？基本原理和不一致性沪羔，適應(yīng)程度。

感覺理解了象浑。
不一致性體現(xiàn)在：一個非空集合S有可能映射到一個空的數(shù)字化集合中蔫饰。
該數(shù)字化模型不是平移不變。
給定給一個數(shù)字化集合P并不能保證精確地刻畫它的預(yù)圖像S愉豺。

• 數(shù)字弦和緊致弦 判別方法篓吁。
• 距離變換的定義，參考點(diǎn)到集合的距離的串行和并行實(shí)現(xiàn)蚪拦？

距離變化計(jì)算區(qū)域中的每個點(diǎn)與最接近的區(qū)域外的點(diǎn)之間距離杖剪，把二值圖像變換為灰度圖像。

第四章：邊緣檢測

• 邊緣模型：其原圖像驰贷，剖面盛嘿、一二階導(dǎo)數(shù)。
• 描述邊緣的參數(shù)：位置饱苟，朝向孩擂，幅度，均值箱熬，斜率类垦。
• 邊緣檢測算子：
  正交梯度算子（一階差分算子，sobel）城须，方向微分算子（難道這里算sobel的擴(kuò)展嗎）蚤认，拉普拉斯算子（二階），馬爾算子糕伐，canny算子砰琢，SUSAN算子。

拉普拉斯：模板中心像素的系數(shù)是正的，中心鄰近的為負(fù)陪汽，所有系數(shù)和為零训唱。
0 -1 0
-1 4 -1
0 -1 0
還有-1 8 那個

馬爾算子:先平滑再拉普拉斯
（1）用一個2D的高斯平滑圖像卷積
（2）計(jì)算卷積后圖像的拉普拉斯值
（3）檢測拉普拉斯圖像中的過零點(diǎn)作為邊緣點(diǎn)

Canny算子
i. 高斯濾波器平滑圖像，減輕噪聲
ii. 檢測濾波圖像中灰度梯度的大小和方向（可用索貝爾算子）
iii. 非極大抑制挚冤。細(xì)化借助梯度檢測得到的邊緣像素所構(gòu)成的邊界
iv. 雙閾值檢測和連接况增。選兩個閾值使用滯后閾值化方法。先標(biāo)記梯度大于高閾值的邊緣像素训挡，再對與這些像素相連的像素使用低閾值（認(rèn)為梯度大于低閾值澳骤、且與大于高閾值像素鄰接的像素也是邊緣像素）

SUSAN算子處理邊緣，敘述原理

選用一個USAN模板澜薄，模板包括核和面積为肮。

USAN面積作為特征起到了增強(qiáng)邊緣和角點(diǎn)的效果。
susan算子的原理：檢測對模板中的每一個像素進(jìn)行肤京，得到輸出的游程和颊艳，邊緣響應(yīng).
susan 邊緣檢測有噪聲的時候性能好，化微分為積分蟆沫，具有非線性響應(yīng)特點(diǎn)籽暇，參數(shù)的任意性較小。

第五章：圖像分割

• 閾值分割

• 區(qū)域生長法

• 分裂合并

• 分水嶺算法

• 聚類分割算法

• 主動輪廓分割

• GC圖割

1饭庞、閾值分割戒悠，區(qū)域生長法，分裂合并法
2 分水嶺分割算法舟山，聚類分割算法
3 水平集分割的基本思想和優(yōu)勢绸狐，從曲線演化到水平集演化推導(dǎo)，

水平集分割的基本優(yōu)勢：
主動輪廓模型的優(yōu)勢：
易于對目標(biāo)進(jìn)行描述累盗；
亞像素的精度寒矿；易于融入各種信息，如形狀先驗(yàn)信息若债，運(yùn)動信息等符相；
具有成熟的數(shù)學(xué)工具，變分法蠢琳，PDE啊终，微分幾何等。

首先建立符號距離函數(shù)傲须。
然后建立曲線演化方程蓝牲。F為速度函數(shù)，N為曲線C的法向量泰讽。
然后推算出水平集演化方程例衍。

水平集方法的步驟昔期，初始化，演化水平及函數(shù)佛玄，重新初始化硼一，收斂。

利用變分法和梯度下降法推導(dǎo)演化方程翎嫡；如何基于演化實(shí)現(xiàn)圖像

定義變分能量函數(shù)欠动。
對能量函數(shù)求梯度。
基于梯度下降算法惑申，得到演化方程。

分割
4 Graph Cut 分割的基本思想

圖割：基于圖像定義某種能量函數(shù)翅雏，能量函數(shù)的最小值對應(yīng)著一種期望的分割圈驼。

最小代價的cut可以以多項(xiàng)式時間復(fù)雜度得到（最大流，最小割方法）

圖割算法壓根沒有看懂望几。

第六章：模板匹配

• 相似度量：相關(guān)系數(shù)绩脆、平均交互信息量、不變矩

相關(guān)系數(shù)其實(shí)就是相關(guān)矩陣橄抹，兩個模板相乘然后進(jìn)行歸一化靴迫。但存在問題：相關(guān)函數(shù)曲線的峰值不尖銳或者被噪聲掩蓋，由于是滑動所以運(yùn)算量比較大：每個候選位置m*m楼誓，共n個候選位置玉锌，不具有尺度和旋轉(zhuǎn)不變性。

平均交互信息忽略了空間的相關(guān)性疟羹，利用聯(lián)合概率密度以及獨(dú)立概率密度來進(jìn)行匹配主守。我理解的是直方圖匹配，不知道對不對榄融。

不變矩参淫，是被測圖像和模板中灰度分布特性的度量，是以坐標(biāo)為權(quán)值的灰度積分愧杯。不變矩具有位移旋轉(zhuǎn)和縮放不變形涎才。

• 分層搜索，模板m力九，圖像尺寸n耍铜，常規(guī)算法需要對圖像進(jìn)行相關(guān)的[(N-M)+1]2
  簡而言之，使用金字塔街頭畏邢，每層的搜索點(diǎn)數(shù)下降成[(N-M)/2L+1]2
  分層搜索中閾值選取和分層的層數(shù)需要注意业扒。

• hough變換

霍夫變換的極坐標(biāo)形式表達(dá)，以及檢測圓的形式表達(dá)舒萎。

霍夫變換的改進(jìn)應(yīng)該不用看了 把程储。

廣義霍夫變換直接忽略蹭沛。

第七章：目標(biāo)表達(dá)

• 基于邊界的表達(dá)：連碼、多邊形近似

邊界表達(dá)分為邊界點(diǎn)集合章鲤、參數(shù)邊界和曲線逼近摊灭。
邊界點(diǎn)結(jié)合有標(biāo)志點(diǎn)（我理解為原始的點(diǎn)集合），參數(shù)邊界主要有鏈碼败徊、邊界段和標(biāo)記帚呼，曲線逼近有多邊形。

主要看鏈碼：方向鏈碼：

起點(diǎn)歸一化：講鏈碼看做由方向數(shù)構(gòu)成的自然數(shù)皱蹦，選取值最小的自然數(shù)順序
旋轉(zhuǎn)歸一化：利用鏈碼的一階差分
鏈碼平滑：去噪

凸包啥的講的就不明白煤杀，應(yīng)該不考。

多邊形近似的分裂和聚合算法：分裂自上而下沪哺，先鏈接邊界上相聚最遠(yuǎn)的兩個點(diǎn)沈自，幾把邊界分成兩部分，然后根據(jù)一定的準(zhǔn)則分解邊界辜妓，構(gòu)成多邊形逼近邊界枯途。
聚合算法，先選一個邊界點(diǎn)為起點(diǎn)籍滴，用直線依次連接該店與相鄰的邊界點(diǎn)酪夷，直至擬合誤差超過某個限度。然后以線段的另一端為起點(diǎn)繼續(xù)鏈接邊界點(diǎn)孽惰，直至繞邊界一周晚岭。

• 基于區(qū)域的表達(dá)：四叉樹、骨架

區(qū)域表達(dá)分為區(qū)域分解灰瞻、圍繞區(qū)域和內(nèi)部特征腥例。
區(qū)域分解只有四叉樹，圍繞區(qū)域有外接盒和最小包圍長方形和凸包酝润，內(nèi)部特征有骨架燎竖。

四叉樹基本思想：每次將圖像一分為4。編碼方式與金字塔相同要销。
根據(jù)位置編碼可以計(jì)算出該像素的位置构回。

數(shù)據(jù)塊的大小是，k為0碼的個數(shù)疏咐。同一父節(jié)點(diǎn)的四塊相鄰纤掸。

常見的骨架，如圓浑塞，正方形借跪，正方形到圓的骨架的變換。

• 基于變換的表達(dá)：

怎么對圖像進(jìn)行預(yù)處理使得傅里葉描述子不變酌壕？

今晚把第789章看完掏愁，明天上午10,11,12歇由。下午13開始總體查缺補(bǔ)漏！

第八章：簡單目標(biāo)描述：

• 基于邊界的描述

舉出聯(lián)通悖論的例子果港。

形狀數(shù)：輪廓差分碼中其值最小的一個序列沦泌。

形狀書的階是形狀數(shù)字的長度，閉合曲線階是偶數(shù)辛掠，凸區(qū)域形狀數(shù)的階N對應(yīng)區(qū)域外包矩形的周長(m+n)*2谢谦。

給定一個形狀，如何求取形狀數(shù)萝衩。

邊界矩一帶而過回挽。

• 基于區(qū)域的描述
  簡單區(qū)域描述符：就是最簡單的基于區(qū)域描述，沒有其他的猩谊，非常細(xì)節(jié)的東西略過沒講厅各。

拓?fù)涿枋龇夯跉W拉數(shù)的組合，研究生用的很少预柒。

不變矩：前面講過。所謂p+q階矩袁梗，就是把坐標(biāo)的P次方和像素值相乘后求和宜鸯。還有p+q中心矩是去均值的，歸一化的中心距是歸一化的遮怜。哪些方法可以實(shí)現(xiàn)不變性淋袖？貌似看起來各種T1到T7都具有不變性。

• 對目標(biāo)關(guān)系的描述
  這里老師沒怎么講锯梁。

第九章：基于局部視覺特征的圖像表達(dá)

6.sift描述子的維數(shù)如何定義及各維數(shù)的含義即碗，shape context描述子的維數(shù)如何定義及各維數(shù)的含義
7.sift描述子如何實(shí)現(xiàn)平移，旋轉(zhuǎn)不變性陌凳，尺度不變性剥懒，亮度不變性；如何進(jìn)行坐標(biāo)變換實(shí)現(xiàn)平移合敦、旋轉(zhuǎn)初橘、尺度不變性

• 圖像表達(dá)基本框架
  局部特征提取--特這編碼--局部特征聚合

• 局部視覺特征描述

局部關(guān)鍵點(diǎn)檢測：
harris：harris整體的推導(dǎo)〕涞海基本原理：給定一個窗口保檐，在角點(diǎn)上，該窗口超任何一個方向移動窗口崔梗，都會使得窗口內(nèi)的內(nèi)容（能量）發(fā)生較大變化夜只。

定義能量函數(shù)：
對其泰勒展開：
略去高階項(xiàng)，把偏導(dǎo)表示成矩陣形式蒜魄，用泰勒展開的式子去減原式扔亥，發(fā)現(xiàn)只剩下導(dǎo)數(shù)項(xiàng)场躯，然后把式子表示為矩陣形式，得到海森矩陣砸王，求取海森矩陣的特征值推盛。根據(jù)特征向量的大小來進(jìn)行判斷是否為角點(diǎn)。
harris角點(diǎn)檢測具有角度不變性谦铃，但不具有尺度不變性耘成。

LOG和DOG可以近似。LOG是對高斯求二階導(dǎo)驹闰，然后用得到的模板進(jìn)行濾波瘪菌。DOG是用不同sigma的高斯模板進(jìn)行濾波，然后想減嘹朗。

DOG圖像金字塔的概念：octave师妙。

SURF監(jiān)測子是專利規(guī)避，不用看屹培。

MSER檢測子（最大穩(wěn)定極值區(qū)域）默穴。基本思想：從低閾值開始分割褪秀，不斷提高閾值蓄诽。

浮點(diǎn)型描述子：SIFT、GLOH媒吗、SURF仑氛、LIOP
sift，sift統(tǒng)計(jì)的是相對的量闸英，本質(zhì)還是梯度的應(yīng)用锯岖。與絕對量沒有關(guān)系。
主要包括以下步驟：dog空間的極值檢測甫何，刪除不穩(wěn)定的極值點(diǎn)出吹，確定特征點(diǎn)的主方向，生成特征點(diǎn)的描述子沛豌。

如果將圖像取反趋箩，那么sift描述子相比于原圖會如何變化？取反之后加派，梯度方向會變成相反方向叫确，所以主方向也會變成相反方向，生成的特征點(diǎn)的描述子芍锦。

問題：sift描述子的具體過程竹勉。

• 特征編碼與聚合

考完一段時間了，考題回憶：

寫了一段娄琉，發(fā)現(xiàn)有個老哥已經(jīng)總結(jié)完了次乓。吓歇。
https://blog.csdn.net/qq_35172135/article/details/90413475