1. 噪聲類型
????a.椒鹽噪聲：黑色像素和白色像素隨機(jī)出現(xiàn)的一類噪聲稀余。
? ?? b.脈沖噪聲：白色像素隨機(jī)出現(xiàn)的一類噪聲
? ? c.高斯噪聲：高斯噪聲是指它的強(qiáng)度變化服從高斯分布（即正態(tài)分布）的一類噪聲。
2. Correlation filtering(相關(guān)濾波)
????從圖像左上角像素開(kāi)始計(jì)算
????窗口大小是（2k+1）（2k+1）
????h(u,v)函數(shù)為針對(duì)每一個(gè)鄰近像素點(diǎn)所賦予的權(quán)重勺鸦，上式被記為
????eg:
????均值濾波：各個(gè)鄰近像素賦予同樣的權(quán)重
????高斯濾波：權(quán)重函數(shù)為高斯函數(shù)晃虫，抑制高頻噪聲
????應(yīng)用：sharpening（銳化）
????需要考慮的問(wèn)題：boundary issue，邊界處的像素不能參與到上述操作，在matlab中肥败，針對(duì)此問(wèn)題，有三種操作：
????邊界擴(kuò)張的幾種方法：copy edge（復(fù)制最邊緣像素）愕提、reflect across edge（以最邊緣像素為軸馒稍，對(duì)稱復(fù)制像素）、clip filter（直接四周加黑邊）浅侨、wrap around（圖像大小通過(guò)將圖像看成是一個(gè)二維周期函數(shù)的一個(gè)周期來(lái)擴(kuò)展）
3. Convolution（卷積）
????從圖像右下角像素開(kāi)始計(jì)算纽谒，注意與correlation的區(qū)別，符號(hào)表示為
????在有些情況下仗颈，卷積的核函數(shù)是可以進(jìn)行分解佛舱，變成向量與向量的乘積
計(jì)算卷積需要的乘法次數(shù)
4.sobel算子
????下圖左右部分分別為提取豎直邊緣和水平邊緣的sobel算子
5.中值濾波
????適合處理脈沖噪聲椎例、椒鹽噪聲，能夠保留邊緣信息
6.Edge detect（邊緣檢測(cè)）
????核心思想：尋找梯度變化最大的地方
????Step1:圖像去噪请祖，減少噪聲的影響
????Step2:利用梯度檢測(cè)邊緣
????卷積導(dǎo)數(shù)定理：
????h為kernel函數(shù),f為圖像订歪，即對(duì)圖像先進(jìn)行卷積操作，再求導(dǎo)獲取邊緣信息肆捕，可以轉(zhuǎn)換成刷晋，直接對(duì)kernel求導(dǎo)，然后再與圖像進(jìn)行卷積操作慎陵。
7.Laplacian of Gaussian（高斯-拉普拉斯算子）
?????LOG是集平滑和邊沿檢測(cè)于一身的算子模型眼虱，即先進(jìn)行高斯濾波，再進(jìn)行拉普拉斯算子運(yùn)算席纽，拉普拉斯算子可用高斯差分近似
8. 邊緣檢測(cè)常規(guī)的步驟
????a.? 平滑：抑制噪聲
????b.? 邊緣增強(qiáng)：通過(guò)濾波器
????c.? 邊緣定位：確定哪些是真正的邊緣捏悬，哪些是噪聲（設(shè)置一個(gè) threshold，低于這個(gè)值的邊緣設(shè)置為 0润梯，高于這個(gè)值的邊緣設(shè)置為 1）
????Canny 邊緣檢測(cè)算子（雙閾值檢測(cè)过牙，如果邊緣梯度值小于高閾值，大于低閾值纺铭，則標(biāo)記為弱邊緣點(diǎn)）
9.Chamfer distance(倒角距離)：
Average distance to nearest feature寇钉，一種對(duì)于圖像的距離變換（distance transform），常用于 shaped based object detection舶赔。對(duì)兩幅圖像進(jìn)行匹配： 其中一幅計(jì)算 Chamfer distance transform扫倡， 將另外一幅的特征點(diǎn)疊加在 DT 上，計(jì)算特征點(diǎn)對(duì)應(yīng)的 DT 值的均值竟纳，那么曲線和圖像之間的距離就可以通過(guò)疊加這些點(diǎn)上的 DT 的某種均值來(lái)計(jì)算撵溃，比如 root mean square(rms)。
10. 二值圖像分析的基本步驟
????a.? 將圖像轉(zhuǎn)換為二值圖像
????b.? 使用形態(tài)學(xué)相關(guān)操作（腐蝕蚁袭、膨脹）處理二值圖像
????c.? 提取單獨(dú)的區(qū)域
????d.? 描述區(qū)域?qū)傩?/p>
11. Morphological operators（形態(tài)學(xué)算子）
????a.? dilation（膨脹） ：Expands connected componentsif current pixel is 1, then set all the output pixels corresponding to structuring element to 1.
????b.? erosion（腐蝕）
????c. opening(開(kāi)操作)：先腐蝕操作征懈，再膨脹操作，去掉微小的區(qū)域揩悄，保留原始的形狀
????d.? closing（閉操作）：先膨脹再腐蝕卖哎，填充空洞
12. 二值圖像進(jìn)行處理的優(yōu)缺點(diǎn)
????優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單，易于存儲(chǔ)删性，可以應(yīng)用簡(jiǎn)單的處理技巧亏娜，相關(guān)的一些描述子很有用
????缺點(diǎn)：很難得到清晰的輪廓，現(xiàn)實(shí)中的場(chǎng)景往往是嘈雜的蹬挺，這種表示比較粗糙维贺，不
????是三維的信息。
13. Texture feature（紋理特征）
????（1）filter bank
????Eg.
14. Global feature 與 local feature
????Global feature：顏色特征巴帮、紋理特征溯泣、邊緣特征虐秋，全局特征容易受到光照、形變垃沦、視點(diǎn)不同客给、尺寸、遮擋的影響肢簿。
????Local feature：sift 特征等靶剑，通常不會(huì)單獨(dú)使用
15. Harris Corner
????性質(zhì)：旋轉(zhuǎn)不變性，對(duì)亮度變化不敏感池充，但是對(duì)尺度變化敏感
????人們通常通過(guò)在一個(gè)小的窗口區(qū)域內(nèi)觀察點(diǎn)的灰度值大小來(lái)識(shí)別角點(diǎn)桩引，如果往任何方向移動(dòng)窗口都會(huì)引起比較大的灰度變換那么往往這就是我們要找的角點(diǎn)
????[x,y]平移[u,v]個(gè)單位后，I表示強(qiáng)度收夸，如果是強(qiáng)度恒定的區(qū)域坑匠，值就接近于0.
????a. 計(jì)算圖像x,y方向的梯度Ix，Iy
????b. 計(jì)算每個(gè)像素點(diǎn)的梯度平方
????c. 計(jì)算梯度在每個(gè)像素點(diǎn)的和
????d. 定義在每個(gè)像素點(diǎn)的矩陣 H咱圆，也就是前面的 M
????e. 計(jì)算每個(gè)像素的角點(diǎn)響應(yīng)
????f. 設(shè)置閾值找出可能點(diǎn)并進(jìn)行非極大值抑制
16. Sift(scale invariant feature transform笛辟，尺度不變特征變換)
????Sift 是一種檢測(cè)和描述局部特征的描述子功氨，對(duì)尺度序苏、旋轉(zhuǎn)、亮度捷凄，對(duì)仿射忱详，噪聲，遮擋跺涤，視角具有一定魯棒性：
????a.Scale space：高斯金字塔模型匈睁，包含 gaussian blurring 和 down sampling 兩個(gè)部分
????b.Take DOG:相當(dāng)于提取 edge 特征
????c.Locate DoG extrema
????d.得到潛在的特征點(diǎn)
????e.過(guò)濾掉一些無(wú)效關(guān)鍵點(diǎn)：low contrast, strong edge with response in one direction only
????f.為關(guān)鍵點(diǎn)選取主方向（旋轉(zhuǎn)不變性）
????g.構(gòu)建特征點(diǎn)描述子（4*4*8=128 維）
尋找主方向
17. Sift 應(yīng)用
????a.? 關(guān)鍵點(diǎn)匹配：計(jì)算 sift 特征描述子間的距離
????b.? 圖像匹配
18. Surt 特征（speeded up robust features）
19. Brsik(Binary Robust Invariant Scalable Keypoints)
20.? CNN feature learning
????傳統(tǒng)的：手工設(shè)計(jì)的特征
????深度學(xué)習(xí)方法：
21. RANSAC（RANdom SAmple Consensus(隨機(jī)抽樣一致)）
????Intuition：如果離群點(diǎn)參與了擬合的話，那么勢(shì)必會(huì)造成得到的直線對(duì)其他正常點(diǎn)的貼近程度變小桶错。
????RANSAC 算法的輸入是一組觀測(cè)數(shù)據(jù)（往往含有較大的噪聲或無(wú)效點(diǎn)）航唆，一個(gè)用于解釋觀測(cè)數(shù)據(jù)的參數(shù)化模型以及一些可信的參數(shù)。RANSAC 通過(guò)反復(fù)選擇數(shù)據(jù)中的一組隨機(jī)子集來(lái)達(dá)成目標(biāo)院刁。步驟如下：
????a.隨機(jī)選擇一些點(diǎn)糯钙，并假設(shè)其為局內(nèi)點(diǎn)，得到模型退腥，即所有的未知參數(shù)都能從假設(shè)的局內(nèi)點(diǎn)計(jì)算得出任岸。
????b.用 1 中得到的模型去測(cè)試所有的其它數(shù)據(jù)，如果某個(gè)點(diǎn)適用于估計(jì)的模型狡刘，認(rèn)為它也是局內(nèi)點(diǎn)享潜。
????c.如果有足夠多的點(diǎn)被歸類為假設(shè)的局內(nèi)點(diǎn)，那么估計(jì)的模型就足夠合理嗅蔬。然后剑按，用所有假設(shè)的局內(nèi)點(diǎn)去重新估計(jì)模型（譬如使用最小二乘法）疾就，因?yàn)樗鼉H僅被初始的假設(shè)局內(nèi)點(diǎn)估計(jì)過(guò)。
????d. 最后艺蝴，通過(guò)估計(jì)局內(nèi)點(diǎn)與模型的錯(cuò)誤率來(lái)評(píng)估模型虐译。上述過(guò)程被重復(fù)執(zhí)行固定的次數(shù)，每次產(chǎn)生的模型要么因?yàn)榫謨?nèi)點(diǎn)太少而被舍棄吴趴，要么因?yàn)楸痊F(xiàn)有的模型更好而被選用漆诽。
????該算法的評(píng)價(jià)：
????優(yōu)點(diǎn)：簡(jiǎn)單，使用范圍廣（simple and general） 锣枝，適用于許多不同的問(wèn)題厢拭，實(shí)際效果好
????缺點(diǎn)：參數(shù)需要優(yōu)化，局內(nèi)點(diǎn)的比例太少時(shí)撇叁，效果不會(huì)太好供鸠，不能總是根據(jù)最少的樣本數(shù)對(duì)模型進(jìn)行良好的初始化。
22. Voting 思想
23. Hough transform（霍夫變換） ：檢測(cè)直線
霍夫變換步驟
24. matching：對(duì)兩張圖片中的特征對(duì)進(jìn)行匹配
????總體思路：
????a. Find a set of distinctive key-points
????b. Define a region around each keypoint
????c. Extract and normalize the region content
????d. Compute a local descriptor from the normalized region
????e. Match local descriptors
25.? grouping
????目的：將屬于同一個(gè)目標(biāo)的特征聚集在一起
????方法：自頂向下 vs 自下而上
????Gestalt 理論：圖像整體包含的信息大于部分信息的總和陨闹，不同部分之間的關(guān)系可以產(chǎn)生出新的特征楞捂。
????常用算法：K-means
26. mean-shift（均值漂移）
????Mean shift 算法是基于核密度估計(jì)的爬山算法，可用于聚類趋厉、圖像分割寨闹、跟蹤等
????Mean-shift 聚類流程
????a.? 在未被標(biāo)記的數(shù)據(jù)點(diǎn)中隨機(jī)選擇一個(gè)點(diǎn)作為中心 center；
????b.? 找出離 center 距離在 bandwidth 之內(nèi)的所有點(diǎn)君账，記做集合 M繁堡，認(rèn)為這些點(diǎn)屬于簇 c。同時(shí)乡数，把這些求內(nèi)點(diǎn)屬于這個(gè)類的概率加 1椭蹄，這個(gè)參數(shù)將用于最后步驟的分類
????c.? 以 center 為中心點(diǎn)，計(jì)算從 center 開(kāi)始到集合 M 中每個(gè)元素的向量净赴，將這些向量相加绳矩，得到向量 shift。
????d.? center = center + shift玖翅。即 center 沿著 shift 的方向移動(dòng)翼馆，移動(dòng)距離是||shift||。
????e.? 重復(fù)步驟 b,c,d烧栋，直到 shift 的大小很行赐住（就是迭代到收斂），記住此時(shí)的center审姓。注意珍特，這個(gè)迭代過(guò)程中遇到的點(diǎn)都應(yīng)該歸類到簇 c。
????f.? 如果收斂時(shí)當(dāng)前簇 c 的 center 與其它已經(jīng)存在的簇 c2 中心的距離小于閾值魔吐，那么把 c2 和 c 合并扎筒。否則莱找，把 c 作為新的聚類，增加 1 類嗜桌。
????g.? 重復(fù) a,b,c,d,e 直到所有的點(diǎn)都被標(biāo)記訪問(wèn)奥溺。
????h.? 根據(jù)每個(gè)類，對(duì)每個(gè)點(diǎn)的訪問(wèn)頻率骨宠，取訪問(wèn)頻率最大的那個(gè)類浮定，作為當(dāng)前點(diǎn)集的所屬類。
????總結(jié)起來(lái)就是层亿，mean shift 就是沿著密度上升的方向?qū)ふ彝瑢僖粋€(gè)簇的數(shù)據(jù)點(diǎn)桦卒。
優(yōu)缺點(diǎn)：
27. Segmentation by Graph Cuts（使用了圖論的相關(guān)理論）
28.? Alignment：對(duì)兩張圖片中的特征對(duì)進(jìn)行匹配
29. 齊次坐標(biāo)
30. 幾種變換
平移與縮放
仿射變換
31. Image-alignment（圖像對(duì)齊）
????（1）? 基于像素的對(duì)齊方法
????（2）? 基于特征的對(duì)齊方法
32.? Object recognition（目標(biāo)識(shí)別）
????（1）? statistic learning framework：先訓(xùn)練，通過(guò)設(shè)置一定的損失函數(shù)優(yōu)化參數(shù)匿又，使用測(cè)試集進(jìn)行測(cè)試
????（2）? 傳統(tǒng)的方法：手工設(shè)計(jì)特征方灾，然后進(jìn)行訓(xùn)練
????（3）? “bag of words”（詞包模型）
????????a.? Extract local features, such as sift
????????b.? Learn “visual vocabulary”, build codebook, usually by clustering.
????????c.? Quantize local features using visual vocabulary
????????d.? Represent images by frequencies of “visual words”
????（4）spatial pyramid（空間金字塔）
33.? Nearest neighbor vs. linear classifiers
34. Support vector machines（支持向量機(jī)）
????Motivation：尋找正負(fù)樣本間的最大間隔
????針對(duì)非線性的邊界：non-linear SVM，將數(shù)據(jù)從低維空間映射到高維空間Kernel trick：
????常見(jiàn)的幾種核函數(shù)：
????a.? radial basis function (RBF) kernel（高斯核）
????b. linear:
????c. Polynomials of degree up to d
????d. Histogram intersection
????Hard margin SVM:
????Soft margin SVM:
????優(yōu)勢(shì)：可以使用 kernel碌更、目標(biāo)函數(shù)是凸函數(shù)裕偿，存在全局最優(yōu)解并且可以得到，方便理論分析擴(kuò)展痛单，在小數(shù)據(jù)集上表現(xiàn)好
????劣勢(shì)：沒(méi)有直接的多分類 SVM嘿棘，計(jì)算量大
35. SVM 用于多分類問(wèn)題
（1）? ONE VS ONE
（2）? ONE VS OTHERS
36.? 使用 SVM
????a. Select a kernel function.
????b. Compute pairwise kernel values between labeled examples.
????c.? Use this “kernel matrix” to solve for SVM support vectors & alpha weights.
????d.? To classify a new example: compute kernel values between new input and support vectors, apply alpha weights, check sign of output.
37.? Underfitting、overfitting桦他、generalization ability蔫巩、train/validation/test
38.? Deep learning
39.? Projective Geometry and Camera Models
（1） Vanishing points and vanishing lines
（2） Pinhole camera model and camera projection matrix
（3） Homogeneous coordinates
????K 為相機(jī)內(nèi)參數(shù)矩陣
40. Face recognition
????降維：
? ? 方法：PCA
41. The Eigenfaces Algorithm（特征臉?biāo)惴ǎ?br>
????Assumption:假設(shè)所有的臉都落在方差最大的前 k 個(gè)特征組成的子空間中
????方法：使用 PCA 找到張成這個(gè)子空間的基向量，或者叫 eigenfaces,然后將所有圖片用這些基向量的線性組合來(lái)表示快压。
????算法 training 步驟：
????a.? 將所有的圖片進(jìn)行對(duì)齊
????b.? 計(jì)算平均臉
????c. Compute the difference image (the centered data matrix)
????d. Compute the covariance matrix Σ
????e. Compute the eigenvectors of the covariance matrix Σ
????f.? Compute each training image xi ‘s projections as
????g. Visualize the estimated training face xi?
????算法缺點(diǎn)：所有圖片的尺寸大小要相同，臉部要對(duì)齊垃瞧，并且對(duì)角度比較敏感
????優(yōu)點(diǎn)：非迭代算法蔫劣，可以找到全局最優(yōu)解
????特點(diǎn)：completely knowledge free
42.? LDA（Linear Discriminant Analysis，線性判別分析）
????目標(biāo)：尋找兩個(gè)類之間的最好分隔投影面
????應(yīng)用算法：Fisherfaces
????PCA 與 LDA 的區(qū)別：PCA preserves maximum variance个从，LDA Find projection that maximizes scatter between classes and minimizes scatter within classes
