計(jì)算機(jī)視覺可以分為以下幾大方向:
1.圖像分類
2.目標(biāo)檢測
3.圖像分割
4.風(fēng)格遷移
5.圖像重構(gòu)
6.超分辨率
7.圖像生成
一. 圖像分類(Image Classification)
圖像分類娇唯,也可以稱為圖像識別,顧名思義,就是辨別圖像是什么揩悄,或者說圖像中的物體屬于什么類別腋粥。圖像分類根據(jù)不同分類標(biāo)準(zhǔn)可以劃分為很多種子方向魂贬。
比如根據(jù)類別標(biāo)簽甫窟,可以劃分為:
二分類問題跟继,正負(fù)樣本分類种冬;
多分類問題,比如數(shù)字識別舔糖;
多標(biāo)簽分類娱两,每個(gè)類別都包含多種屬性的標(biāo)簽,比如對于服飾分類剩盒,可以加上衣服顏色谷婆、紋理、袖長等標(biāo)簽辽聊,輸出的不只是單一的類別,還可以包括多個(gè)屬性期贫。
根據(jù)類別數(shù)量跟匆,還可以分為:
Few-shot learning:即小樣本學(xué)習(xí),訓(xùn)練集中每個(gè)類別數(shù)量很少通砍,包括 one-shot 和 zero-shot 玛臂;
large-scale learning:大規(guī)模樣本學(xué)習(xí),也是現(xiàn)在主流的分類方法封孙,這也是由于深度學(xué)習(xí)對數(shù)據(jù)集的要求迹冤。
二. 目標(biāo)檢測(Object Detection)
目標(biāo)檢測通常包含兩方面的工作
1. 檢測目標(biāo)
2.識別目標(biāo)。
目標(biāo)檢測可以分為單物體檢測和多物體檢測 虎忌。如下圖所示coco數(shù)據(jù)集:
目標(biāo)檢測領(lǐng)域發(fā)展如下
R-CNN 系列泡徙,從 R-CNN 到 Fast R-CNN、Faster R-CNN膜蠢,Mask R-CNN堪藐;
YOLO 系列莉兰,從 v1 到 2018 年的 v3 現(xiàn)在陸陸續(xù)續(xù)有非官方發(fā)布的V5了
可見此處:經(jīng)驗(yàn)雜談——有效避免目標(biāo)檢測中的誤檢 - 簡書 (jianshu.com)
三. 圖像分割(Object Segmentation)
圖像分割是基于圖像檢測的,它需要檢測到目標(biāo)物體礁竞,然后把物體分割出來糖荒。
圖像分割可以分為三種:
普通分割:將不同分屬于不同物體的像素區(qū)域分開,比如前景區(qū)域和后景區(qū)域的分割模捂;
語義分割:普通分割的基礎(chǔ)上捶朵,在像素級別上的分類,屬于同一類的像素都要被歸為一類狂男,比如分割出不同類別的物體泉孩;
實(shí)例分割:語義分割的基礎(chǔ)上,分割出每個(gè)實(shí)例物體并淋,比如對圖片中的多只狗都分割出來寓搬,識別出來它們是不同的個(gè)體,不僅僅是屬于哪個(gè)類別县耽。
一個(gè)圖形分割的例子如下所示句喷,下圖就是一個(gè)實(shí)例分割的例子,用不同的顏色表示不同的實(shí)例兔毙。
四. 風(fēng)格遷移(Style Transfer)
風(fēng)格遷移是指將一個(gè)領(lǐng)域或者幾張圖片的風(fēng)格應(yīng)用到其他領(lǐng)域或者圖片上唾琼。比如將抽象派的風(fēng)格應(yīng)用到寫實(shí)派的圖片上。
一個(gè)風(fēng)格遷移的例子如下, 圖 A 是原圖澎剥,后面的 B-F 五幅圖都是根據(jù)不同風(fēng)格得到的結(jié)果锡溯。
5. 圖像重構(gòu)(Image Reconstruction)
圖像重構(gòu),也稱為圖像修復(fù)(Image Inpainting)哑姚, 目的就是修復(fù)圖像中缺失的地方祭饭, 。通常會采用常用的數(shù)據(jù)集叙量,然后人為制造圖片中需要修復(fù)的地方倡蝙。
一個(gè)修復(fù)的例子如下所示,總共是四張需要修復(fù)的圖片绞佩,例子來自論文"Image Inpainting for Irregular Holes Using Partial Convolutions"寺鸥。
六. 超分辨率(Super-Resolution)
超分辨率是指生成一個(gè)比原圖分辨率更高、細(xì)節(jié)更清晰的任務(wù)品山。一個(gè)例子如下圖所示胆建,圖例來自論文"Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network"。 通常超分辨率的模型也可以用于解決圖像恢復(fù)(image restoration)和修復(fù)(inpainting)肘交,因?yàn)樗鼈兌际墙鉀Q比較關(guān)聯(lián)的問題笆载。
常用的數(shù)據(jù)集主要是采用現(xiàn)有的數(shù)據(jù)集,并生成分辨率較低的圖片用于模型的訓(xùn)練。
七. 圖像生成(Image Synthesis)
圖像生成是根據(jù)一張圖片生成修改部分區(qū)域的圖片或者是全新的圖片的任務(wù)宰译。這個(gè)應(yīng)用最近幾年快速發(fā)展檐蚜,主要原因也是由于 GANs 是最近幾年非常熱門的研究方向,而圖像生成就是 GANS的一大應(yīng)用沿侈。