[機(jī)器學(xué)習(xí)入門] 李宏毅機(jī)器學(xué)習(xí)筆記-26(Structured Support Vector Machine part1 ;結(jié)構(gòu)化支持向量機(jī)part 1)
VIDEO |
---|
首先回顧一下Structured Learning要解決什么問(wèn)題?
Example Task Object Detection:
We must solve the three problems:
那么現(xiàn)在讓我們假設(shè)前兩個(gè)問(wèn)題都解決了,只專注于第三個(gè)問(wèn)題让腹。
Outline
Assumption Separable
存在一個(gè)vector茫多,使inner product后的點(diǎn)滿足公式要求泥畅。
那么我們可以通過(guò)以下方法來(lái)的到這個(gè)vector丁鹉,當(dāng)w不更新時(shí)瓜贾,就找到了它胆敞。
那么這種更新參數(shù)的方式可行嗎着帽?答案是可行的,首先我們先亮出結(jié)論:
Warning of math移层,簡(jiǎn)短證明以上結(jié)論:
End of math.
How to make training fast仍翰?
Non-separable Cace
假設(shè)說(shuō),找不到任何一個(gè)正確的答案能高過(guò)其他錯(cuò)誤的观话,但即使這樣也有高下之分予借,很明顯左邊是要好于右邊的。
Defining Cost Function
那么可以 用 gradent decent 來(lái)minimize C
下圖,當(dāng)w 不同時(shí)灵迫,y是不同的秦叛,那么怎樣固定住y呢?我們發(fā)現(xiàn)瀑粥,max能在w構(gòu)成的space 中挣跋,將y劃分為幾個(gè)區(qū)域,每個(gè)區(qū)域存在固定的y’狞换,y‘’避咆,y'''等。
而此時(shí)黃色公式即很容易表達(dá)了修噪,所以每一個(gè)區(qū)域的gradent對(duì)w的微分都可以求出來(lái)查库,這個(gè)能求出來(lái),就可以用gradent decent了黄琼。
Considering Errors
那么下面我們要將上述的cost概念進(jìn)化一下樊销,上面我們是對(duì)錯(cuò)誤的答案一視同仁的,即只有對(duì)錯(cuò)适荣,但是實(shí)際上它們卻差別很大现柠,有的錯(cuò)誤是跟正確答案很接近的,所以我們要將錯(cuò)誤分出等級(jí)弛矛。
如何進(jìn)化我們的Cost Function呢够吩?
怎樣去量化差距呢?運(yùn)用了面積丈氓、交集思想周循。
核心精神就是,夸大它們的差距万俗,好就更高湾笛,錯(cuò)就更錯(cuò)。
那么我們?nèi)绾斡胓radent decent 來(lái)update呢闰歪?與上篇的方法差不多嚎研。
那么剛剛的cost function 有另外一個(gè)觀點(diǎn)可以來(lái)解釋它。
為什么這個(gè)是正確的库倘?
More Cost Functions临扮,core spirit 核心精神是一樣的。