在上次的改進(jìn)方案失敗（沒(méi)有效果）后迂尝，最近一直在思考怎么繼續(xù)改進(jìn)當(dāng)前的一個(gè)計(jì)算機(jī)視覺(jué)算法，因此在網(wǎng)上搜索了一下計(jì)算機(jī)視覺(jué)這兩年可以做的方向剪芥，以下內(nèi)容來(lái)自知乎的回答垄开，摘錄的部分是對(duì)我自己比較有幫助啟發(fā)的，本文主要自己收藏記錄用税肪，希望對(duì)看到這篇文章的人也有所幫助溉躲。

也可以戳以下鏈接去看完整的原回答

2022年計(jì)算機(jī)視覺(jué)有什么可做的新方向？

2023年計(jì)算機(jī)視覺(jué)有什么可做的新方向益兄？

1锻梳、對(duì)transformer結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行輕量化處理（這是我現(xiàn)在正在探索的方向）

可以嘗試一些Transformer結(jié)構(gòu)的模型壓縮算法方案，目前雖然transformer在CV領(lǐng)域比較火净捅，但是在移動(dòng)端還是以CNN結(jié)構(gòu)的為主疑枯。一方面可以做純transformer方案的壓縮移植，還可以做CNN+transformer融合的方案蛔六，里面的方式不限于NAS荆永，蒸餾，剪枝以及量化国章，特別是在TinyML這種關(guān)注低功耗以及邊緣計(jì)算的領(lǐng)域具钥，如何把transformer的優(yōu)勢(shì)發(fā)揮出來(lái)，也是有很多值得嘗試的方向液兽。

2氓拼、應(yīng)用于邊緣計(jì)算領(lǐng)域（其實(shí)也是輕量化的需求）

邊緣計(jì)算是指在數(shù)據(jù)源頭的附近，采用開(kāi)放平臺(tái)抵碟，就近直接提供最近端的服務(wù)桃漾。邊緣計(jì)算與云計(jì)算相反，云計(jì)算是指通過(guò)網(wǎng)絡(luò)拟逮，把眾多數(shù)據(jù)計(jì)算處理程序分解撬统，通過(guò)服務(wù)器組成的系統(tǒng)，把這些分解的小程序再處理分析來(lái)得到結(jié)果敦迄。

在計(jì)算機(jī)視覺(jué)領(lǐng)域恋追，邊緣計(jì)算技術(shù)的重要性與日俱增，因?yàn)橛?jì)算機(jī)視覺(jué)系統(tǒng)經(jīng)常需要快速作出決定罚屋，比如在自動(dòng)駕駛汽車等領(lǐng)域苦囱，因此根本沒(méi)有時(shí)間將數(shù)據(jù)發(fā)送到云。

隨著邊緣計(jì)算的計(jì)算速度不斷提高脾猛，計(jì)算機(jī)視覺(jué)將在安全領(lǐng)域產(chǎn)生重大影響撕彤，鑒于企業(yè)商業(yè)和個(gè)人在捕獲和使用視頻數(shù)據(jù)的方式上面臨更嚴(yán)格的審查和監(jiān)管，這一點(diǎn)日益重要。使用邊緣設(shè)備羹铅，如配備了計(jì)算機(jī)視覺(jué)的安全攝像頭蚀狰，人們可以動(dòng)態(tài)分析數(shù)據(jù)，并在沒(méi)有理由保留數(shù)據(jù)（如沒(méi)有檢測(cè)到可疑活動(dòng)）的情況下丟棄數(shù)據(jù)职员。

另一個(gè)回答中也提到：

算法落地一般要部署到服務(wù)器上麻蹋，但這需要網(wǎng)絡(luò)，對(duì)于有些沒(méi)有網(wǎng)絡(luò)的場(chǎng)景我們?cè)趺床渴鹚惴睾盖校勘热绨缡冢娋W(wǎng)行業(yè)的算法應(yīng)用場(chǎng)景絕緣子檢測(cè)、鳥(niǎo)巢檢測(cè)专肪、火災(zāi)檢測(cè)等糙箍，應(yīng)用主體都是高壓線，這些高壓線一般分布在偏遠(yuǎn)地區(qū)牵祟，網(wǎng)絡(luò)條件差，這時(shí)候我們就要考慮沒(méi)有網(wǎng)絡(luò)的情況下我們還要達(dá)到實(shí)時(shí)檢測(cè)的需求抖格，那這時(shí)候就需要部署到不需要借助網(wǎng)絡(luò)傳輸?shù)倪叾嗽O(shè)備上來(lái)诺苹，最常見(jiàn)還是攝像頭。

但是邊端部署存在一個(gè)問(wèn)題雹拄，就是對(duì)硬件要求比較高收奔，目前主流邊端設(shè)備生產(chǎn)商主要就是浪潮、寒武紀(jì)滓玖、英偉達(dá)坪哄、瑞星微等。

3势篡、multi-modal多模態(tài)處理

如何融合多模態(tài)的數(shù)據(jù)進(jìn)行更好地預(yù)測(cè)翩肌，這個(gè)確實(shí)是我之前沒(méi)怎么關(guān)注過(guò)的。我所在的實(shí)驗(yàn)室主要做智能醫(yī)學(xué)影像處理禁悠，在醫(yī)學(xué)圖像處理領(lǐng)域多模態(tài)確實(shí)應(yīng)用得不少念祭，這個(gè)方向之后也可以多關(guān)注關(guān)注。

4碍侦、小樣本檢測(cè)（擺脫對(duì)需要大量數(shù)據(jù)的依賴）

在很多場(chǎng)景下粱坤，收集大量的有標(biāo)簽的數(shù)據(jù)是非常昂貴、困難瓷产、甚至不可能的站玄，比如醫(yī)療數(shù)據(jù)、手機(jī)上用戶手動(dòng)標(biāo)注的數(shù)據(jù)等濒旦。"是否能僅利用少量帶標(biāo)簽的數(shù)據(jù)來(lái)訓(xùn)練就得到一個(gè)好的模型株旷？"已經(jīng)成為機(jī)器學(xué)習(xí)的發(fā)展中一個(gè)十分重要的課題，不論是學(xué)術(shù)界還是工業(yè)界都高度關(guān)注尔邓。

不可否認(rèn)需要大量的訓(xùn)練數(shù)據(jù)也是深度學(xué)習(xí)在落地時(shí)候會(huì)面臨的一個(gè)重要問(wèn)題灾常，但是我目前主要在做的人體姿態(tài)估計(jì)的數(shù)據(jù)集都還挺大的霎冯，所以暫時(shí)不考慮這個(gè)方向的改進(jìn)。

看到了很多回答都是跟模型輕量化相關(guān)的钞瀑，因此我又去了解了一下深度學(xué)習(xí)輕量化相關(guān)的回答

1沈撞、幾個(gè)小型化技術(shù)最近有慢慢整合的趨勢(shì)，比如搜索算法同時(shí)實(shí)現(xiàn)NAS雕什、剪枝和量化[1][2]缠俺，所以并不是孤立的，如果想做小型化方向的研究贷岸，這幾個(gè)方向應(yīng)該都要熟悉壹士，建議自己google上找些survey文章，花段時(shí)間對(duì)這幾個(gè)方向都做一下了解偿警，再考慮從哪個(gè)角度入手躏救；

NAS在幾個(gè)方向中是相對(duì)獨(dú)立的，也可以歸為automl的其中一種技術(shù)螟蒸，可參考：AutoML: Methods, Systems, Challenges (first book on AutoML)盒使，了解下大體內(nèi)容；

不同的任務(wù)小型化難度不一樣七嫌，所以在什么任務(wù)上研究小型化也是一個(gè)考慮少办，建議從兩個(gè)角度：

1) 最近比較火的模型結(jié)構(gòu)上做小型化，比如CV transformer诵原，發(fā)文章比較容易英妓；

2) 比較難的任務(wù)上做小型化，比如low-level vision绍赛；

可以嘗試從改進(jìn)已有基于搜索的小型化算法入手蔓纠，這個(gè)過(guò)程中學(xué)習(xí)到的一些技術(shù)(e.g., 搜索和優(yōu)化)在其他任務(wù)上也是受用的；

[1]https://arxiv.org/abs/2006.08509

[2]A Survey of Quantization Methods for Efficient Neural Network Inference

了解目前的輕量化transformer的方法

待補(bǔ)充吗蚌。贺纲。