姓名：王天宇

學(xué)號：20181213976

學(xué)院：物理與光電工程學(xué)院

【嵌牛導(dǎo)讀】

近年來,智能視頻監(jiān)控技術(shù)越來越受市場的青睞二庵，但是目前的監(jiān)控系統(tǒng)往往只是對視頻信號進(jìn)行簡單的錄制與網(wǎng)絡(luò)傳輸佳头，尚停留在監(jiān)控人員對視頻信號的人工監(jiān)視和事后錄像分析上,并沒有充分利用計(jì)算機(jī)巨大的計(jì)算能力,存在工作量巨大划滋、響應(yīng)速度慢扯饶、存在漏檢漏報(bào)等不足之處藻雪。而計(jì)算機(jī)視覺與嵌入式微控制器技術(shù)的引入有效解決了以上問題砰琢。

【嵌牛鼻子】

嵌入式視覺發(fā)展及與光流的結(jié)合

【嵌牛提問】

嵌入式是如何與視覺發(fā)展相結(jié)合的胡桨？

【嵌牛內(nèi)容】

近年來,智能視頻監(jiān)控技術(shù)越來越受市場的青睞，其涵蓋了計(jì)算機(jī)視覺烫堤，模式識別數(shù)字圖像處理等眾多領(lǐng)域的知識荣赶。與靜態(tài)圖像相比，運(yùn)動目標(biāo)的視頻圖像幀序列提供了更為豐富直觀的數(shù)字圖像信息塔逃。運(yùn)動目標(biāo)檢測和跟蹤是智能監(jiān)控的關(guān)鍵技術(shù)讯壶，通過獲取運(yùn)動目標(biāo)的運(yùn)動參數(shù)料仗，可以描繪出運(yùn)動目標(biāo)的移動軌跡湾盗，從而實(shí)現(xiàn)了對目標(biāo)運(yùn)動行為的檢測工作，可以有效地應(yīng)用在智能交通立轧、刑偵偵測和防盜治安等眾多領(lǐng)域中格粪。

但是目前的監(jiān)控系統(tǒng)往往只是對視頻信號進(jìn)行簡單的錄制與網(wǎng)絡(luò)傳輸，尚停留在監(jiān)控人員對視頻信號的人工監(jiān)視和事后錄像分析上,并沒有充分利用計(jì)算機(jī)巨大的計(jì)算能力,存在工作量巨大氛改、響應(yīng)速度慢帐萎、存在漏檢漏報(bào)等不足之處。并且由于公共場合屬于多攝像頭胜卤，多角度的監(jiān)控模式疆导，每個監(jiān)控場景的視頻需要通過網(wǎng)絡(luò)實(shí)時傳輸給監(jiān)控中心集中處理，較容易發(fā)生視頻傳輸擁塞與丟包現(xiàn)象葛躏，同時帶來海量視頻數(shù)據(jù)存儲與檢索服務(wù)器易超負(fù)荷運(yùn)行澈段，檢測速度與精度較差等系列問題。

計(jì)算機(jī)視覺與嵌入式微控制器技術(shù)的引入有效解決了以上問題舰攒。利用計(jì)算機(jī)代替人腦來分析败富、理解監(jiān)控視頻圖像的內(nèi)容，自動查找摩窃、跟蹤和識別日標(biāo)兽叮，從而實(shí)現(xiàn)事件的自動分析與警報(bào),同時,將嵌人式技術(shù)應(yīng)用在圖像處理領(lǐng)域，可以構(gòu)建以嵌人式系統(tǒng)為核心的視覺檢測方法猾愿，將圖像采集﹑圖像分析與處理等功能集成在該嵌入式系統(tǒng)中鹦聪，增強(qiáng)了通信系統(tǒng)安全性，數(shù)據(jù)傳輸可靠性及抗于擾能力蒂秘。

嵌入式視覺可劃分為兩個高級類別：感知環(huán)境和采取行動泽本。視覺導(dǎo)向的機(jī)器人和無人機(jī)屬于后面的采取行動類。

在民用領(lǐng)域材彪，目前無人機(jī)是商業(yè)观挎、醫(yī)療琴儿、農(nóng)業(yè)、廣播和執(zhí)法應(yīng)用中最熱門的話題之一嘁捷。對許多這樣的應(yīng)用造成，無人機(jī)可提供顯著的優(yōu)勢。在廣播和執(zhí)法領(lǐng)域雄嚣，無人機(jī)能夠以低得多的成本提供之前需要直升機(jī)才能提供的能力晒屎。無人機(jī)還能執(zhí)行預(yù)訂服務(wù)，例如Amazon Prime 交貨服務(wù)缓升，或者如烏干達(dá)偏遠(yuǎn)地區(qū)的醫(yī)療產(chǎn)品交貨服務(wù)鼓鲁。在農(nóng)業(yè)應(yīng)用中，無人機(jī)能使用高光譜成像來判斷作物的健康狀況港谊。而這些應(yīng)用骇吭，只不過是目前已經(jīng)在使用或正在考慮使用無人機(jī)技術(shù)應(yīng)用的冰山一角。

這些應(yīng)用歧寺，綜合起來體現(xiàn)著我們在嵌入式視覺總體環(huán)境中觀察到的嵌入式視覺當(dāng)前四大普遍趨勢中的三大趨勢：

1燥狰、邊緣（edge）端通過機(jī)器學(xué)習(xí)獲得的智能嵌入在無人機(jī)本身內(nèi)部，需要從它的攝像頭提取信息并根據(jù)該信息采取行動斜筐，達(dá)成自己的目標(biāo)龙致。

2、開放式高級語言和框架—在無人機(jī)中實(shí)現(xiàn)智能化需要高級框架和語言顷链。這些中最常用的是開源多平臺框架目代，比如嵌入式環(huán)境里的 OpenCV、OpenVX嗤练，以及在機(jī)器學(xué)習(xí)環(huán)境里的Tensor Flow和Caffe榛了。

3、多層次的安全性—用于確保無人機(jī)不僅能夠運(yùn)行潭苞，且不能影響安全性和信息獲取忽冻。這種方法要求在器件、系統(tǒng)和網(wǎng)絡(luò)層面實(shí)現(xiàn)多層次的安全性此疹。

第四個趨勢是嵌入式視覺的普及化僧诚。雖然視覺導(dǎo)向的機(jī)器人和無人機(jī)還不像我們的手機(jī)一樣普及——我們常在旅行中用手機(jī)來翻譯標(biāo)牌等用途，隨著新用例被發(fā)掘出來蝗碎，使用視覺導(dǎo)向的機(jī)器人和無人機(jī)的應(yīng)用正處于快速發(fā)展中湖笨。

在架構(gòu)層面無人機(jī)擁有一些關(guān)鍵的子系統(tǒng)，包括實(shí)時精準(zhǔn)的馬達(dá)控制系統(tǒng)、提供與無人機(jī)雙向通信的軟件無線電和精確的嵌入式視覺系統(tǒng)。視覺導(dǎo)向的機(jī)器人和無人機(jī)主要針對大部分電池供電的應(yīng)用炬守，因此設(shè)計(jì)高能效解決方案的能力極為重要毁枯。

高精度嵌入式視覺系統(tǒng)提供高幀率边败，其處理圖像和根據(jù)圖像采取行動的能力要遠(yuǎn)超過人眼袱衷。對許多應(yīng)用來說，需要使用多個攝像頭來形成立體多視覺笑窜，以完整掌握無人機(jī)周邊環(huán)境致燥。這也稱為傳感器融合。雖然許多應(yīng)用使用多攝像頭方法來觀察環(huán)境排截，部分應(yīng)用還會把設(shè)計(jì)用于觀測電磁場頻譜不同組成部分的攝像頭結(jié)合起來使用嫌蚤，例如在超光譜或紅外應(yīng)用中的情況。在使用多個相同類型傳感器的時候這一般稱為同構(gòu)断傲，在使用不同傳感器技術(shù)的時候稱為異構(gòu)脱吱。

在算法層面，這種高精度嵌入式視覺系統(tǒng)運(yùn)行的算法有同步定位與地圖構(gòu)建（SLAM）和光流（Optical Flow）认罩，以為平臺提供增強(qiáng)型感知和避障系統(tǒng)箱蝠。這些算法還與更傳統(tǒng)的模式和對象識別算法結(jié)合。

光流的概念是Gibson于1950年首先提出猜年。所謂光流抡锈，是指圖像中模式運(yùn)動的速度疾忍。光流場是一種二維瞬時速度場乔外，其中的二維速度矢量是景物中可見點(diǎn)的三維速度矢量在成像表面的投影，光流不僅包含了物體的運(yùn)動信息一罩，而且攜帶著有關(guān)景物三維結(jié)構(gòu)的豐富信息杨幼。在各種不同的問題中，光流都扮演著重要的角色聂渊。在計(jì)算機(jī)視覺中差购，光流是較高層視覺信息恢復(fù)等極其重要的任務(wù)。從一表面的光流恢復(fù)三維結(jié)構(gòu)和運(yùn)動是計(jì)算機(jī)視覺研究所面臨的最富有意義和挑戰(zhàn)性的任務(wù)之一汉嗽。

光流的重要地位和作用欲逃，使得眾多的研究人員加入到研究光流的行列中來，近些年來饼暑，他們提出了許多計(jì)算光流的方法稳析，并且還在不斷涌現(xiàn)新的計(jì)算方法。這些方法在概念和性能上都有很大差異弓叛，目前彰居，對現(xiàn)有的方法還缺乏一個系統(tǒng)的分類，對它們各自的性能也沒有一個統(tǒng)一的認(rèn)識撰筷。但基本可以將其分為基于微分（梯度）陈惰、基于匹配、基于相位毕籽、基于頻率抬闯、基于神經(jīng)動力學(xué)的五種方法井辆。