主要內(nèi)容包括：
1谱醇、基于boosting級聯(lián)學習的遙感目標檢測
Adaboost算法暇仲、前向分步算法步做、提升樹副渴、梯度提升、級聯(lián)學習框架全度、Haar特征煮剧、級聯(lián)分類器訓練方法
2、基于隨機幾何模型的遙感目標檢測
點過程将鸵、標記點過程
3勉盅、基于主題語義模型的遙感目標提取
分水嶺分割、特征提取顶掉、主題語義建模草娜、PLSA統(tǒng)計、分割區(qū)域語義判定
1痒筒、基于boosting級聯(lián)學習的遙感目標檢測
【Adaboost算法】
boosting算法通過改變訓練樣本的權重宰闰，學習多個分類器，并將這些分類器線性組合以提高分類的性能簿透。其中強分類器是指正確率很高的學習算法移袍；弱分類器是指正確率只比隨機猜測好一點的學習算法。
總的來說是對于同一個訓練樣本集老充，設置初始權重葡盗，求另損失函數(shù)最小的弱分類器，對錯分的樣本更改權重使其更加重要啡浊，再次求弱分類器觅够，最后將這些弱分類器進行線性相加。
兩個關鍵問題：1巷嚣、權值如何改變? 2蔚约、如何組合弱分類器
Adaboost算法的具體步驟
輸入：二類分類的訓練集 T ={(x_1,y_1), (x_2,y_2)..(x_n,y_n)} 其中x_i為樣本實例，y_i為標記涂籽；弱學習算法
輸出：最終分類器
(1) 初始化訓練數(shù)據(jù)的權值分布苹祟，得到D1 = {w_1...w_n}。假設數(shù)據(jù)集有均勻權值分布時表示訓練樣本正在基本分類器學習中作用相同
(2) 對 m =1,2,3..M评雌，使用具有權值分布的Dm的訓練集進行學習树枫，得到基本分類器Gm(x)。隨后Adaboost會反復學習基本分類器景东。
(3) 計算Gm(x)的分類誤差率e_m贰拿，為權值乘以分錯的概率。
(4) 通過某種方式計算Gm(x)的系數(shù)绎秒，參數(shù)為e_m。e_m大于1/2時α_m大于零且隨e的減小而增大厨喂，所以分類誤差率越小的基本分類器在最終分類器作用越大。
(5) 更新訓練數(shù)據(jù)的權值分布為Dm+1庄呈，計算方式為
Sum(D)是對權重的規(guī)范化蜕煌，它使Dm+1成為概率分布。被誤分類的樣本權值得以擴大诬留，在下一輪起到更大作用斜纪。
(6) 構建基本分類器的線性集合 f(x) = Σ(α_m × Gm(x) )，最后得到最終分類器G(x) = sign( f(x) )文兑。實現(xiàn)M個分類器的加權表決盒刚， f(x)表示分類的確信度。
【前向分步算法】
可以認為Adaboost算法是“模型為加法模型绿贞、損失函數(shù)為指數(shù)函數(shù)因块、學習算法為前向分布算法”時的二類分類學習方法。在Adaboost算法中籍铁，我們的最終目的是通過構建弱分類器的線性組合來得到最終分類器：
加法模型的一般形式：
顯然式8.6是一個加法模型寨辩。
???????? 對于加法模型吓懈，在給定訓練數(shù)據(jù)及損失函數(shù)L(y, f(x))的條件下，學習加法模型f(x)就成為經(jīng)驗風險極小化損失函數(shù)極小化問題靡狞，但這是一個復雜的優(yōu)化問題耻警。
前向分布算法(forward stagewise algorithm)求解這一優(yōu)化問題的想法是：因為學習的是加法模型，那如果能夠從前向后甸怕，每一步只學習一個基函數(shù)及其系數(shù)甘穿，然后逐步逼近優(yōu)化目標式8.14，那么就可以簡化優(yōu)化的復雜度梢杭。具體的温兼，每步只需優(yōu)化如下?lián)p失函數(shù)：
前向分布算法步驟
這樣，前向分布算法將同時求解從m=1到M的所有參數(shù)βm, rm的優(yōu)化問題簡化為逐次求解各個βm, rm的優(yōu)化問題武契。
【提升樹】
提升樹是以決策樹為弱分類器的提升方法募判，通常使用CART樹。提升樹被認為是統(tǒng)計學習中性能最好的方法之一咒唆。
提升樹方法實際采用：加法模型 + 前向分布算法 + CART樹(基函數(shù))届垫。在Adaboost的例子中看到的弱分類器xv，可以看做是由一個根結點直接連接兩個葉結點的簡單決策樹全释，即所謂的決策樹樁装处。提升樹模型可以表示為決策樹的加法模型：
提升樹算法
首先妄迁，確定初始提升樹f0(x)= 0寝蹈，于是第m步的模型就是：
其中fm-1(x)是當前模型，通過經(jīng)驗風險極小化確定下一棵決策樹的參數(shù)θm登淘，
由于樹的線性組合可以很好的擬合訓練數(shù)據(jù)箫老，即使數(shù)據(jù)中的輸入與輸出之間的關系很復雜也可以很好的擬合。所以提升樹是一個高功能的學習算法形帮。
針對不同問題的提升樹學習算法槽惫，其主要區(qū)別在于使用的損失函數(shù)不同周叮。包括用平方誤差損失函數(shù)的回歸問題辩撑，用指數(shù)損失函數(shù)的分類問題，以及用一般損失函數(shù)的一般決策問題仿耽。
對于二類分類問題合冀，提升樹算法只需將Adaboost中的弱分類器限制為二類分類樹即可。下面敘述回歸問題的提升樹：已知一個訓練數(shù)據(jù)集T={(x1,y1), (x2, y2), ..., (xN, yN)}项贺，x∈X? Rn君躺，X為輸入空間，yi∈Y? R开缎，Y為輸出空間棕叫。如果將輸入空間X劃分為J個互不相交的區(qū)域R1, R2, ..., RJ，并且在每個區(qū)域上確定輸出的常量cj奕删，那么樹可以表示為：
回歸問題提升樹使用以下前向分布算法：
R是當前模型擬合數(shù)據(jù)的殘差。所以對回歸問題的提升樹算法來說完残，只需簡單的擬合當前模型的殘差伏钠。這樣，算法是相當簡單的谨设。
現(xiàn)將回歸問題的提升樹算法敘述如下
【梯度提升】
上面的提升樹算法利用加法模型與前向分步算法實現(xiàn)學習的優(yōu)化過程熟掂。雖然當損失函數(shù)時平方損失和指數(shù)損失函數(shù)時，每一步的優(yōu)化很簡單扎拣，但對于一般損失函數(shù)而言赴肚，往往每一步的優(yōu)化并不那么容易。而梯度提升(gradient boosting)算法就是解決這個問題的二蓝。梯度提升算法利用最速下降法的近似方法誉券，其關鍵是利用損失函數(shù)的負梯度在當前模型的值作為回歸問題提升樹算法中殘差的近似值，擬合一個回歸樹侣夷。
【級聯(lián)學習框架】
傳統(tǒng)的Adaboost算法關注最小化錯誤率横朋，但是目標檢測時負樣本出現(xiàn)的概率通常遠高于正樣本概率，有人提出了非對稱的Adaboost算法百拓，引入非對稱的損失函數(shù)使正樣本被錯分的損失更大琴锭。目前遙感圖像數(shù)據(jù)特點導致利用級聯(lián)學習來檢測的方法不多見晰甚。介紹一套實時的遙感目標自動檢測系統(tǒng)。
【Haar特征】
構建分類器時主要采用Haar特征决帖。Haar特征是一種反映圖像的灰度變化的厕九，像素分模塊求差值的一種特征。它分為三類：邊緣特征地回、線性特征扁远、中心特征和對角線特征。用黑白兩種矩形框組合成特征模板刻像，在特征模板內(nèi)用 黑色矩形像素和 減去 白色矩形像素和來表示這個模版的特征值畅买。
如上圖A、B细睡、D模塊的圖像Haar特征為：v=Sum白-Sum黑 ; C模塊的圖像Haar特征為：v=Sum白(左)+Sum白(右)-2*Sum黑.這里要保證白色矩形模塊中的像素與黑色矩形的模塊的像素數(shù)相同谷羞，所以乘2
對于一幅圖像來說，可以通過通過改變特征模板的大小和位置溜徙，可窮舉出大量的特征來表示一幅圖像湃缎。上圖的特征模板稱為“特征原型”；特征原型在圖像子窗口中擴展（平移伸縮）得到的特征稱為“矩形特征”蠢壹；矩形特征的值稱為“特征值”嗓违。矩形特征值是矩形模版類別、矩形位置和矩形大小這三個因素的函數(shù)图贸。在工程中需要進行快速計算某個矩形內(nèi)的像素值的和蹂季，這就需要引入積分圖的概念，有利于大尺寸遙感圖像中小尺度目標的檢測
積分圖的定義：
那么我們實現(xiàn)的時候是如何進行計算積分圖的呢乏盐？
計算方塊內(nèi)的像素和：
有四個位置分別為1、2制恍、3父能、4。要計算D區(qū)域內(nèi)部的像素和：記位置4的左上的所有像素為rectsum(4)净神，那么
D位置的像素之和就是rectsum(1)+rectsum(4)?rectsum(2)?rectsum(3)何吝。
有了積分圖，就可以很快地計算出了任意矩形內(nèi)的像素之和
三種類型的Haar-like特征中鹃唯，二矩形特征需要6次查找積分圖中的值爱榕，而三矩形特征需要8次查找積分圖中的值，而對角的特征需要9次坡慌。
【使用級聯(lián)分類器對Haar特征進行訓練】
在輸入圖像之后首先計算積分圖黔酥，然后通過積分圖在計算上述三種特征，如果窗口的大小為24*24像素，那么生成的特征數(shù)目有16000之多跪者。
(1)弱分類器的定義
Adaboost算法中需要定義弱分類器棵帽，該弱分類器的定義如下：
上述公式中的pj是為了控制不等式的方向而設置的參數(shù)。
fj(x)表示輸入一個窗口x渣玲，比如24*24像素的窗口逗概，通過fj提取特征，得到若干特征忘衍。通過一個閾值θ判定該窗口是不是所要檢測的物體逾苫。
(2)adaboost算法
假設訓練樣本圖像為(x1,y1),…,(xn,yn)，其中yi=0,1,0表示負樣本枚钓，1表示正樣本铅搓。
首先初始化權重w1,i=12m，初始化yi為22l秘噪，其中m表示負樣本的個數(shù)狸吞，l表示正樣本的個數(shù)勉耀。
(3) 動態(tài)級聯(lián)訓練
每一級強分類器都是通過前面所有級的樣本訓練構造而成指煎。難的樣本交給更深級的分類器。
給定一個級聯(lián)分類器便斥，誤檢率為f1,f2...,fn至壤，檢測率為d1,d2..dn，N個非目標窗口經(jīng)過n個強分類器后的誤分率為N*f1*f2*...*fn枢纠，整個分類器的誤檢率為F =?f1*f2*...*fn像街，檢測率為D =?d1*d2*...*dn
訓練級聯(lián)分類器以達到給定的檢測率D和誤檢率F，只需要分別訓練N個具有檢測率 d_i 和誤檢率 f_i 的強分類器晋渺。通過增加弱分類器的個數(shù)來逼近F镰绎，但是要考慮計算時間。
構造級聯(lián)分類器的算法：
（1）確定每級的最大誤檢率 f木西，最小檢測率 d畴栖，以及最終的級聯(lián)分類器誤檢率 F_obj
（2）P = 目標訓練樣本，N = 非目標訓練樣本八千，F(xiàn)_0 = 1.0, D_0 = 1.0, i = 0
（3）F_i > F_obj 時吗讶，執(zhí)行循環(huán)：
???? a) i =i +1??
???? b) n_i= 0 , F_i = F_i-1
???? c) F_i > f * F_i-1 時，執(zhí)行循環(huán)：
???????? i) n_i = n_i? + 1
???????? ii) 利用Adaboost算法訓練P和N上具有 n_i 個特征的強分類器
???????? iii) 計算當前級聯(lián)分類器的檢測率 D_i 和 F_i
???????? iv) 降低第 i 級強分類器閾值知道當前級聯(lián)分類器檢測率達到 d * D_i-1
???? d) N = 空集
???? e) 如果F_i > F_obj恋捆，用當前的級聯(lián)分類器檢測非目標圖像照皆，將誤識別的圖像放入集合N，進行Bootstrap過程沸停。（Bootstrap是從離線樣本集合向訓練樣本集合中補充訓練樣本膜毁，形成動態(tài)訓練集，將正確分類的負樣本直接丟棄，錯誤分類的負樣本送入下一級瘟滨，隨著訓練進行葬凳，負樣本難度不斷增加）
（4）輸出滿足要求的分類器
【使用級聯(lián)分類器進行檢測】
檢測窗掃描整幅圖像。為了提高檢測速度室奏，應該盡早丟棄容易判別的非目標區(qū)域火焰，訓練時給每一個弱分類器設置一個拒絕閾值，如果樣本累計輸出大于閾值則送入下一級繼續(xù)分類胧沫，否則就直接標記為負樣本區(qū)域
首先第一個分類器的輸入是所有的子窗口昌简，然后通過級聯(lián)的分類器去除掉一些子窗口，這樣能夠有效地降低窗口的數(shù)目绒怨，具體的去除方法就是如果任何一個級聯(lián)分類器提出拒絕纯赎，那么后續(xù)的分類器就不需要處理之前分類器的子窗口。
通過這樣的一種機制能夠有效地去掉較多的子窗口南蹂，因為較大部分的子窗口中都沒有所要檢測的物體犬金。
2、基于隨機幾何模型的遙感目標檢測
有一類遙感人造地物目標結構相對復雜但是幾何部件特性相對單一六剥，可以使用基于隨機幾何理論的建模方法晚顷，通過對目標及其組件的組合式建模對物體形狀位置等隨機變化特征進行統(tǒng)計分析。
目標部件結構：提出可變形模板疗疟，用若干幾何圖形來擬合目標的輪廓该默。
【點過程】
描述隨機點分布的隨機過程。很多隨機現(xiàn)象發(fā)生的時刻策彤、地點栓袖、狀態(tài)等往往可以用某一空間上的點來表示。例如店诗，服務臺前顧客的到來時刻裹刮，真空管陰極電子的發(fā)射時刻，可表為實軸上的點庞瘸。又如捧弃，天空中某一區(qū)域內(nèi)星體的分布，核醫(yī)療中放射性示蹤物質(zhì)在人體器官的各處出現(xiàn)恕洲，不同能級地震的發(fā)生塔橡，都可用二維以上空間的點表示。點過程就是描述這類現(xiàn)象的理想化的數(shù)學模型霜第。它在隨機服務系統(tǒng)葛家、交通運輸、物理學和地球物理學泌类、生態(tài)學癞谒、神經(jīng)生理學底燎、傳染病學、信息傳輸弹砚、核醫(yī)療學等很多方面都有應用双仍。
對于X的點過程是從一個概率空間到(N,N)的一個可度量映射N。N是最小域可數(shù)子集桌吃。
【標值點過程】
標值點過程(marked pointprocess)一種點過程朱沃。令點過程的每一點聯(lián)系一個標值，就得到標值點過程。設{N(t),t}是一基本的點過程，如果對這過程的每一點t?(n=1,2,3,...)賦予一個輔助的隨機變量u?艰争，并稱之為聯(lián)系于該點的標值夯膀，變量u隨機地取值于某一標值空間au谒臼，這種每一點都帶有一個標值的點過程即稱為標值點過程。
標值點過程用于目標提取，主要有兩個優(yōu)勢,一、該方法是一種面向?qū)ο蟮姆椒ǘП⒃摲椒ㄊ腔诮y(tǒng)計框架的。
從像素到對象
傳統(tǒng)的道路提取的方法一般是建立在基于像素級別的光譜信息分析的基礎上微饥，它們的共同特征是主要使用圖像的強度量即灰度值的統(tǒng)汁信息逗扒，而對地物形狀、結構等信息的分析很少涉及畜号。在高分辨率圖像中缴阎，道路表現(xiàn)為具有一定的寬度的“面狀物”，具有豐富的細節(jié)信息简软，并存在較多的噪聲干擾車輛、樹木述暂、陰影等痹升，使用像素級方法一般很難得到較好的提取結果。面向?qū)ο蟮乃枷雭碓从谲浖こ填I域畦韭，其特點是將影像對象作為影像分析的基本單元疼蛾。影像對象是指影像分割后若干“同質(zhì)”像素的集合。在很多特征信息提取的問題中艺配，能夠完整表現(xiàn)目標特征的并非單個像元察郁，而是那些“同質(zhì)”像素的集合，因此转唉，基于對象的分析方法更符合實際情況皮钠，能更好地利用目標的特征。采用面向?qū)ο蟮姆椒ㄓ幸韵聝?yōu)勢一赠法、可以較好的解決噪聲問題麦轰，噪聲區(qū)域?qū)⒑推渲苓叺南裨黄鸷喜⒌教囟ǖ挠跋駥ο笾腥ザ⒖沙浞掷媚繕说膸缀谓Y構特征長、寬等和光譜特征方差款侵、均值等三末荐、可充分利用目標的空間特征距離、方向等新锈，使專家知識能直接指導圖像分析甲脏。基于標值點過程提取目標的方法是一種面向?qū)ο蟮姆椒冒省＿@種方法根據(jù)對象的幾何特征建立模型剃幌，根據(jù)目標的光譜特性建立數(shù)據(jù)項,根據(jù)目標的拓撲性質(zhì)等空間特性建立先驗項。
統(tǒng)計方法
標值點過程的方法克服了MRF的不足晾浴。它從對象的角度建立目標的模型负乡，每個標值點可以表示復雜的結構，可以較好的解決噪聲問題脊凰。而且抖棘，這種方法可以通過定義標值點之間的相互關系來描述目標形狀和全局結構。
3狸涌、基于主題語義模型的遙感目標提取
融合了檢測和分割兩個過程切省。首先通過多尺度分割，在大尺度圖像上定位感興趣目標所在的區(qū)域帕胆，然后利用“最優(yōu)語義標記結果”的自動選擇分割提取目標的精確輪廓朝捆。
將圖像比作文本，將圖像中存在的目標比作文本主題懒豹，不同目標對應不同的主題芙盘，圖像即為不同模型的混合體。下面的方法首先對圖像進行多尺度分割脸秽，獲取圖像中各類目標以及其背景在各個尺度上的分割結果儒老，然后自動提取特征，并且結合主題語義模型记餐，對圖像各個尺度中包含的先驗知識和相互關系進行定量計算驮樊。
【分水嶺分割】
利用分水嶺進行圖像分割的方法。它是一種區(qū)域分割法片酝，區(qū)域分割法利用圖像的空間性質(zhì)囚衔，以像素點之間的相似性為依據(jù)，根據(jù)不同的分割準則進行圖像分割雕沿。這樣能彌補閾值练湿、邊緣檢測、輪廓檢測中忽略像素點空間關系的缺點晦炊。分水嶺分割是基于自然的啟發(fā)算法來模擬水流通過地形起伏的現(xiàn)象從而研究總結出來的一種分割方法鞠鲜，其基本原理是將圖像特征看作地理上的地貌特征宁脊，利用像素的灰度值分布特征，對每個符合特征的區(qū)域進行劃分贤姆，形成邊界以構成分水嶺榆苞。下面是分水嶺算法的物理模型：
在上面的水嶺算法示意圖中局部極小值、積水盆地霞捡，分水嶺線以及水壩的概念可以描述為：
（1）區(qū)域極小值：導數(shù)為0的點坐漏，局部范圍內(nèi)的最小值點；
（2）集水盆（匯水盆地）：當“水”落到匯水盆地時碧信，“水”會自然而然地流到匯水盆地中的區(qū)域極小值點處赊琳。每一個匯水盆地中有且僅有一個區(qū)域極小值點；集水盆地就是要識別的物體區(qū)域
（3）分水嶺：當“水”處于分水嶺的位置時砰碴，會等概率地流向多個與它相鄰的匯水盆地中躏筏；
（4）水壩：人為修建的分水嶺，防止相鄰匯水盆地之間的“水”互相交匯影響呈枉。
分水嶺算法最大的不足在于過分割現(xiàn)象趁尼，為此在分割之前利用非線性濾波算法對原始圖像進行去噪和平滑，之后對分割后的結果圖像進行多尺度區(qū)域合并算法進行合并猖辫。
【目標候選區(qū)域的生成】
首先通過圖像的多尺度分割對訓練圖像在不同尺度下進行不同分割數(shù)目的劃分酥泞，把圖像表現(xiàn)為圖像塊的集合。之后對過小區(qū)域進行合并啃憎。合并準則的主要依據(jù)是圖像的光譜和形狀信息芝囤。
合并的具體步驟為：
（1）從初始結果得到區(qū)域的鄰接圖（RAG）
（2）計算初始分割中最小的區(qū)域面積定義為C_min
（3）挑選出所有面積為C_min的區(qū)域挠轴，并根據(jù)鄰接圖找出相鄰區(qū)域，弱=如果區(qū)域為孤立區(qū)域耳幢，鄰域區(qū)域為包含區(qū)域
（4）計算被挑選出的區(qū)域與鄰接區(qū)域的同質(zhì)性度量值（合并準則），保存具有最小同質(zhì)性值的區(qū)域?qū)?/p>
（5）合并上一步中的區(qū)域?qū)?/p>
（6）重新計算鄰接圖（RAG）欧啤，計算合并后新圖像的C_min
（7）如果新圖像C_min大于閾值則輸出結果睛藻，否則返回（3）
【特征提取】
總希望提取簡單而穩(wěn)定的特征。主要包括Harris-Affine特征和MSER特征
【Harris角點】
在現(xiàn)實世界中邢隧，角點對應于物體的拐角店印，道路的十字路口、丁字路口等倒慧。從圖像分析的角度來定義角點可以有以下兩種定義：1）角點可以是兩個邊緣的角點按摘；2）角點是鄰域內(nèi)具有兩個主方向的特征點包券；
人眼對角點的識別通常是在一個局部的小區(qū)域或小窗口完成的。如果在各個方向上移動這個特征的小窗口炫贤，窗口內(nèi)區(qū)域的灰度發(fā)生了較大的變化溅固，那么就認為在窗口內(nèi)遇到了角點。如果這個特定的窗口在圖像各個方向上移動時兰珍，窗口內(nèi)圖像的灰度沒有發(fā)生變化侍郭，那么窗口內(nèi)就不存在角點；如果窗口在某一個方向移動時掠河，窗口內(nèi)圖像的灰度發(fā)生了較大的變化亮元，而在另一些方向上沒有發(fā)生變化，那么唠摹，窗口內(nèi)的圖像可能就是一條直線的線段爆捞。
對于圖像I(x,y)，當在點(x,y)處平移(Δx,Δy)后的自相似性勾拉，可以通過自相關函數(shù)給出：
橢圓函數(shù)特征值與圖像中的角點找默、直線（邊緣）和平面之間的關系如下圖所示艇劫。共可分為三種情況：
圖像中的直線。一個特征值大惩激，另一個特征值小店煞，λ1?λ2或λ2?λ1。自相關函數(shù)值在某一方向上大风钻，在其他方向上小顷蟀。
圖像中的平面。兩個特征值都小骡技，且近似相等鸣个；自相關函數(shù)數(shù)值在各個方向上都小。
圖像中的角點布朦。兩個特征值都大囤萤，且近似相等，自相關函數(shù)在所有方向都增大是趴。
根據(jù)二次項函數(shù)特征值的計算公式涛舍，我們可以求M(x,y)矩陣的特征值。但是Harris給出的角點差別方法并不需要計算具體的特征值唆途，而是計算一個角點響應值R來判斷角點富雅。R的計算公式為：
式中掸驱，detM為矩陣M的行列式；traceM為矩陣M的直跡没佑；α為經(jīng)常常數(shù)毕贼，取值范圍為0.04~0.06。事實上图筹，特征是隱含在detM和traceM中帅刀，因為，
可以將Harris圖像角點檢測算法歸納如下远剩，共分以下五步：
Harris角點檢測算子對亮度和對比度的變化不敏感扣溺，具有旋轉不變性，不具有尺度不變性
Harris角點檢測雖然對于光照強度瓜晤、旋轉角度改變具有較好的檢測不變性锥余，但是卻不具有尺度不變性及仿射不變性，然后在現(xiàn)實生活中痢掠，兩張圖片中目標物體發(fā)生尺度變化驱犹，或由視點變化而引起仿射變化是非常常見的。為了獲得尺度不變性足画，比較直觀的方法就是建立多尺度空間（類似于sift方法）雄驹，對于每個特征位置都有在不同尺度下的表示，那么在匹配時只要找到對應尺度空間下的特征點就可以了淹辞。所以我們只需要在經(jīng)典的方法里引入多尺度空間医舆，在原特征點空間里增加了多個其他尺度空間的特征點，這些增加的特征點對應于不同的尺度空間的圖像象缀，增加了目標尺度變化的魯棒性蔬将，使其具有了一定程度的尺度不變性。
【MSER特征】
MSER（最穩(wěn)定極值區(qū)域）基于分水嶺的概念：對圖像進行二值化央星，二值化閾值取[0, 255]霞怀，這樣二值化圖像就經(jīng)歷一個從全黑到全白的過程（就像水位不斷上升的俯瞰圖）。在這個過程中莉给，有些連通區(qū)域面積隨閾值上升的變化很小毙石，這種區(qū)域就叫MSER。
如把灰度圖看成高低起伏的地形圖颓遏，其中灰度值看成海平面高度的話胁黑，MSER的作用就是在灰度圖中找到符合條件的坑洼。條件為坑的最小高度州泊，坑的大小，坑的傾斜程度漂洋，坑中如果已有小坑時大坑與小坑的變化率遥皂。
以上便是對坑的舉例陈症，MSER主要流程就三部分組成：
1.預處理數(shù)據(jù)
2.遍歷灰度圖
3.判斷一個區(qū)域（坑洼）是否滿足條件
簡單來說，就如將水注入這個地形中震糖。水遇到低處就往低處流录肯，如果沒有低處了，水位就會一點點增長吊说，直至淹沒整個地形论咏。在之前預處理下數(shù)據(jù)，在水位提高時判斷下是否滿足條件颁井。
【主題語義建奶埃】
可以采用pLSA模型分析每個候選區(qū)域包含的特征信息。圖像候選區(qū)域視為文檔(document)雅宾，待分割提取的目標為文檔主題(topic)养涮，候選區(qū)域包含的特征就是文檔中的單詞(word)。
用pLSA模型統(tǒng)計圖像上的特征分布秀又，而后擬合成若干個已知的主題類別的混合单寂。對于每幅圖像，計算得到原始圖像的特征描述子后按照不同尺度不同的劃分規(guī)則分配給每個候選區(qū)域吐辙，這樣不同尺度的候選區(qū)域就包含數(shù)量不同和各種類別的特征描述子宣决，用特征描述子的直方圖形式表達候選區(qū)域信息。
【pLSA】
1.詞袋模型?
? 詞袋模型(BOW, Bag-of-Words) 模型是NLP領域中的一個基本假設昏苏，一個文檔(document)被表示為一組單詞(word/term)的無序組合尊沸，而忽略了語法或者詞序的部分,存在缺陷:
? 稀疏性: 對于大詞典，尤其是包括了生僻字的詞典贤惯，文檔稀疏性不可避免洼专；
? 多義詞: BOW模型只統(tǒng)計單詞出現(xiàn)的次數(shù)，而忽略了一個詞可能存在多種含義孵构，一詞多義屁商；
? 同義詞(Synonym): 多個單詞可以表示同一個意思，一義多詞颈墅；
從同義詞和多義詞問題可以看到：單詞也許不是文檔的最基本組成元素蜡镶，在單詞與文檔之間還有一層隱含的關系雾袱，我們稱之為主題(Topic)，我們更關注隱藏在詞之后的意義和概念官还。在寫文章時首先確定的是文章的主題芹橡，再根據(jù)主題選擇合適的單詞來表達觀點。在BOW模型中引入Topic的因素望伦，即潛在語義分析(LSA, Latent SemanticAnalysis)和概率潛在語義分析(pLSA,probabilistic Latent Semantic Analysis)
2.LSA模型
? ? LSA的基本思想就是林说，將document從稀疏的高維Vocabulary空間映射到一個低維的向量空間，我們稱之為隱含語義空間(Latent Semantic Space).
??? ?具體說來就是對一個大型的文檔集合使用一個合理的維度建模屯伞，并將詞和文檔都表示到該空間奈泪，比如有2000個文檔量瓜，包含7000個索引詞艰管，LSA使用一個維度為100的向量空間將文檔和詞表示到該空間趋急，進而在該空間進行信息檢索。
在圖上饵撑，每一個圓圈表示一個主題剑梳，每一個紅色的點，都表示一個詞滑潘，每一個藍色的點垢乙，都表示一篇文檔，這樣我們可以對這些詞和文檔進行聚類语卤，比如說 stock 和 market 可以放在一類追逮，因為他們老是出現(xiàn)在一起，real 和 estate 可以放在一類粹舵，dads钮孵，guide 這種詞就看起來有點孤立了，我們就不對他們進行合并了眼滤。按這樣聚類出現(xiàn)的效果巴席，在某個主題下，會有多個文檔和多個單詞诅需。
而將文檔表示到此空間的過程就是SVD奇異值分解和降維的過程漾唉。降維是LSA分析中最重要的一步，通過降維堰塌，去除了文檔中的“噪音”赵刑，也就是無關信息（比如詞的誤用或不相關的詞偶爾出現(xiàn)在一起），語義結構逐漸呈現(xiàn)场刑。
每個奇異值對應的是每個“語義”維度的權重般此，將不太重要的權重置為0，只保留最重要的維度信息，去掉一些信息“nosie”,因而可以得到文檔的一種更優(yōu)表示形式恤煞。理解:矩陣 U 中的每一列表示一個關鍵詞屎勘，每個key word與各個詞的相關性，數(shù)值越大越相關居扒；矩陣 V 中的每一行表示一類主題，其中的每個非零元素表示一個主題與一個文檔的相關性丑慎。中間的矩陣 D 則表示文章主題和keyword之間的相關性喜喂。因此，我們只要對關聯(lián)矩陣 X 進行一次奇異值分解竿裂，我們就可以同時完成了近義詞分類和文章的分類玉吁。（同時得到每個主題的相關性）。
?LSA的優(yōu)點
1）低維空間表示可以刻畫同義詞腻异，同義詞會對應著相同或相似的主題进副。
2）降維可去除部分噪聲，是特征更魯棒悔常。
3）充分利用冗余數(shù)據(jù)影斑。
4）無監(jiān)督/完全自動化。
5）與語言無關机打。
LSA的缺點
LSA可以處理向量空間模型無法解決的一義多詞(synonymy)問題矫户，但不能解決一詞多義(polysemy)問題。因為LSA將每一個詞映射為潛在語義空間中的一個點残邀，也就是說一個詞的多個意思在空間中對于的是同一個點皆辽，并沒有被區(qū)分
3.PLSA模型
假設你要寫M篇文檔，由于一篇文檔由各個不同的詞組成芥挣，所以你需要確定每篇文檔里每個位置上的詞驱闷。再假定你一共有K個可選的主題，有V個可選的詞空免，咱們來玩一個扔骰子的游戲空另。
? 1. 假設你每寫一篇文檔會制作一顆K面的“文檔-主題”骰子（扔此骰子能得到K個主題中的任意一個），和K個V面的“主題-詞項” 骰子（每個骰子對應一個主題鼓蜒，K個骰子對應之前的K個主題痹换，且骰子的每一面對應要選擇的詞項，V個面對應著V個可選的詞）都弹。
? ?比如可令K=3娇豫，即制作1個含有3個主題的“文檔-主題”骰子，這3個主題可以是：教育畅厢、經(jīng)濟冯痢、交通。然后令V =
3，制作3個有著3面的“主題-詞項”骰子浦楣，其中袖肥，教育主題骰子的3個面上的詞可以是：大學、老師振劳、課程椎组，經(jīng)濟主題骰子的3個面上的詞可以是：市場、企業(yè)历恐、金融寸癌，交通主題骰子的3個面上的詞可以是：高鐵、汽車弱贼、飛機蒸苇。
? 2. 每寫一個詞，先扔該“文檔-主題”骰子選擇主題吮旅，得到主題的結果后溪烤，使用和主題結果對應的那顆“主題-詞項”骰子，扔該骰子選擇要寫的詞庇勃。???? {每篇文檔有不同的文檔-主題 骰子}
? ?先扔“文檔-主題”的骰子檬嘀，假設（以一定的概率）得到的主題是教育，所以下一步便是扔教育主題篩子匪凉，（以一定的概率）得到教育主題篩子對應的某個詞：大學枪眉。
上面這個投骰子產(chǎn)生詞的過程簡化下便是：“先以一定的概率選取主題，再以一定的概率選取詞”再层。事實上贸铜，一開始可供選擇的主題有3個：教育、經(jīng)濟聂受、交通蒿秦，那為何偏偏選取教育這個主題呢？其實是隨機選取的蛋济，只是這個隨機遵循一定的概率分布棍鳖。比如3個主題的概率分布是{教育：0.5，經(jīng)濟：0.3碗旅，交通：0.2}渡处， ?????我們把各個主題z在文檔d中出現(xiàn)的概率分布稱之為主題分布，且是一個多項分布祟辟。
同樣的医瘫，從主題分布中隨機抽取出教育主題后，依然面對著3個詞：大學旧困、老師醇份、課程稼锅，這3個詞都可能被選中，但它們被選中的概率也是不一樣的僚纷。比如3個詞的概率分布是{大學：0.5矩距，老師：0.3，課程：0.2}怖竭，我們把各個詞語w在主題z下出現(xiàn)的概率分布稱之為詞分布锥债，這個詞分布也是一個多項分布。
所以侵状，選主題和選詞都是兩個隨機的過程赞弥，先從主題分布{教育：0.5，經(jīng)濟：0.3趣兄，交通：0.2}中抽取出主題：教育，然后從該主題對應的詞分布{大學：0.5悼嫉，老師：0.3艇潭，課程：0.2}中抽取出詞：大學。
3. 最后戏蔑，你不停的重復扔“文檔-主題”骰子和”主題-詞項“骰子蹋凝，重復N次（產(chǎn)生N個詞），完成一篇文檔总棵，重復這產(chǎn)生一篇文檔的方法M次鳍寂，則完成M篇文檔。
4迄汛、在訓練圖像上的應用
假設存在M個文檔(樣本候選區(qū)域)，對應N個詞匯(特征)分布骤视，n(s_i,f_i)表示候選區(qū)域s_i 中特征f_i出現(xiàn)的次數(shù)鞍爱，而隱含目標類別變量t_g與單個特征在特定區(qū)域中的出現(xiàn)概率相關聯(lián)。隱含概率語義模型的目的是學習P(f_i | t_g)和P(t_g|s_i)专酗，求得模型參數(shù)后對各個圖層中待標記區(qū)域求解對應標記的概率睹逃，概率值P(t_g|s_i)越大說明該位置屬于目標的可能性越大
【分割區(qū)域語義判定】
經(jīng)過對測試圖像的多尺度分割和特征提取與描述，再根據(jù)生成的主題和單詞的對應關系祷肯，計算各個候選區(qū)域與各個主題的相似度沉填。最后選擇合適的主題作為該候選主題的所屬主題，實現(xiàn)圖像目標的分割佑笋。
基于KL距離的語義相關函數(shù)翼闹，對層次之間的不同候選區(qū)域的語義關系進行定量分析，并確定圖像塊的語義屬性允青。
1橄碾、KL距離
是Kullback-Leibler差異（Kullback-Leibler Divergence）的簡稱卵沉，也叫做相對熵（Relative Entropy）。它衡量的是相同事件空間里的兩個概率分布的差異情況法牲。其物理意義是：在相同事件空間里史汗，概率分布P(x)對應的每個事件，若用概率分布Q(x)編碼時拒垃，平均每個基本事件（符號）編碼長度增加了多少比特停撞。我們用D（P||Q）表示KL距離，計算公式如下：
概率分布P(X)的信息熵為：
利用KL距離計算圖像區(qū)域和詞統(tǒng)計模型之間的差異，進而統(tǒng)計候選區(qū)域的語義相關系數(shù)向量命贴，進行候選區(qū)域的語義相關系數(shù)向量道宅，進行候選區(qū)域的語義分析，最終確定候選區(qū)域的語義屬性胸蛛。
第l個圖像在詞空間向量的表示為P_l(x)污茵，第k個主題的詞分布記作Q_k(x)。圖像區(qū)域和主題之間的KL距離為
根據(jù)KL距離定義的語義相關系數(shù)為依據(jù)葬项，計算出語義屬性泞当，將語義屬性和閾值進行比較，得到目標提取的結果
