Movidius神經(jīng)計算棒基本概念梳理

【導語】預計到2020年卢佣,全球?qū)⒂?00億聯(lián)網(wǎng)設備房揭,設備端與云端的數(shù)據(jù)傳輸量將高達數(shù)百億PB。對物聯(lián)網(wǎng)而言氯葬,如果邊緣計算技術(shù)取得突破挡篓,意味著數(shù)據(jù)將通過本地設備處理并做出反饋,而無需交由云端帚称,計算處理過程將在本地邊緣端完成官研。這無疑將大大提升處理效率,減輕云端的負荷闯睹,還可為用戶帶來更快的響應戏羽,減少數(shù)據(jù)隱私泄露,提高邊緣端計算可靠性等等好處楼吃。

什么是邊緣計算始花?

邊緣計算并非是一個新鮮詞,無論是云還是邊緣計算孩锡,本身只是實現(xiàn)物聯(lián)網(wǎng)酷宵、智能制造等所需要計算技術(shù)的一種方法或者模式。本質(zhì)上躬窜,只是相對于云計算而言浇垦,邊緣計算是在接近于現(xiàn)場應用端提供的計算。

邊緣計算優(yōu)點更多體現(xiàn)在

減少網(wǎng)絡帶寬:減少數(shù)據(jù)從傳感器/設備端傳向云端所占用的網(wǎng)絡帶寬斩披;

降低延遲:降低由云端決策并在設備端執(zhí)行反饋的延遲溜族;

數(shù)據(jù)隱私:無需上傳涉及用戶隱私數(shù)據(jù),直接在邊緣端判斷形成決策反饋垦沉;

應用可靠性:物聯(lián)網(wǎng)設備工作環(huán)境有可能會比較惡劣煌抒,無法聯(lián)網(wǎng)等情況也會時有發(fā)生,邊緣端計算將有效降低對云端的依賴度厕倍。

接下來寡壮,我們以計算機視覺和AI在邊緣端的應用場景為例,典型的應用場景為:智能機器人讹弯,安全攝像頭况既,智能家居助手,這些應用場景涉及到的核心算法為:物體識別组民,物體分類棒仍,人臉識別以及自然語言處理等。

AI應用開發(fā)過程

通常人工智能應用的開發(fā)過程分為4步

數(shù)據(jù)獲取與預處理

深度學習/機器學習建模

訓練并調(diào)整模型參數(shù)臭胜,以滿足性能和精確度的平衡

部署訓練好的模型

我們這里談論邊緣計算莫其,主要體現(xiàn)在將訓練好的模型部署在邊緣端的設備上(并非利用邊緣端來做深度學習訓練)癞尚。

深度學習模型通常包含海量的參數(shù),需要強大的計算力進行大規(guī)模的神經(jīng)網(wǎng)絡矩陣運算乱陡;但是終端和物聯(lián)網(wǎng)設備往往更多考慮小體積和低功耗的要求浇揩,以至于很難兼顧滿足高性能神經(jīng)網(wǎng)絡計算力和實時性要求。

將計算從云端遷移到邊緣端憨颠,碰到的主要障礙為:

精確度

計算能力

模型效率

模型大小

講到這里胳徽,我們可以開始談談Movidius這家公司了。Movidius是一家計算機視覺智能芯片公司爽彤,2016年9月份被英特爾收購养盗,用以擴充英特爾在物聯(lián)網(wǎng)視頻/視覺領域的版圖。

Movidius這家公司的核心技術(shù)适篙,Intel Movidius Myriad 2 Vision Processing Unit (VPU)爪瓜,是一款超低功耗,為無人機匙瘪,機器人,虛擬現(xiàn)實以及智能安全等領域提供高性能視覺智能解決方案的計算芯片蝶缀。

超低功耗設計:Myriad?2擁有在低功耗下多個高級視覺算法實現(xiàn)丹喻,讓視覺應用程序完全可以基于這種小型封裝設備運行,適用于大量的物聯(lián)網(wǎng)設備等芯片功耗及電池使用時間都極其敏感的應用場景翁都。

高性能處理器:在邊緣端為物聯(lián)網(wǎng)設備提供人類視覺的計算能力碍论,讓計算機視覺應用可以運行在傳統(tǒng)計算芯片無法勝任的功耗和溫度要求及其苛刻的環(huán)境下。

可編程架構(gòu):集成該芯片的設備制造商柄慰,通過集成Myriad 2的高性能軟件庫鳍悠,可以開發(fā)出不同的功能特點的應用程序。

小面積設計:芯片封裝面積非常小坐搔,很容易集成到現(xiàn)有的移動設備藏研,可穿戴設備和嵌入式設備中。

Movidius神經(jīng)計算棒(2代)


英特爾?Movidius?神經(jīng)計算棒是基于USB模式的深度學習推理工具和獨立的人工智能(AI)協(xié)處理器概行,其內(nèi)部核心是一顆Myriad 2處理器(28nm工藝)蠢挡,具有80~150 GFLOPS的性能,該處理器也被稱為視覺處理單元 (或視覺加速器)凳忙,功耗僅為1W左右(作為參考业踏,樹莓派3B在HDMI關(guān)閉,LED熄滅和WiFi開啟時功耗大概在1.2W)涧卵,因此完全可以通過USB供電勤家,可以廣泛的為邊緣主機設備提供專用深度神經(jīng)網(wǎng)絡處理功能。外形小巧的MovidiusTM神經(jīng)計算棒專為產(chǎn)品開發(fā)者柳恐、研究人員和創(chuàng)客設計伐脖,提供專用高性能深度神經(jīng)網(wǎng)絡處理性能热幔,從而減少開發(fā)、調(diào)優(yōu)和部署人工智能應用的障礙晓殊。

如何使用英特爾神經(jīng)計算棒來做邊緣推理

單來說断凶,這個過程需要分為3個步驟

模型訓練(數(shù)據(jù)中心--云端),常用的深度學習框架:Caffe / TensorFlow / mxnet /?等等巫俺。

優(yōu)化和編譯(筆記本電腦+NCS)认烁,將模型在不怎么損失太多精度的情況下進行優(yōu)化和格式轉(zhuǎn)化,用以生成適合不同硬件二進制模型介汹。

部署模型并用于實際場景的推理

從上圖所述却嗡,有2點值得強調(diào):

模型部署好后的推理,Intel有很多種方案嘹承,比如CPU / GPU / FPGA / VPU等解決方案窗价,分別適用不同的應用場景;

上述工具和開發(fā)包叹卷,Intel也配套提供了軟件包叫做OpenVINO撼港,如果再將上述過程細化,如下圖所示:

上述過程每個階段都有相應的軟件框架和工具來完成骤竹,為了讓大家更熟悉上述過程怎么玩帝牡,Intel現(xiàn)在每年都會舉辦英特爾人工智能開發(fā)者大會,幫助大家熟悉并了解相關(guān)的工具集蒙揣,以及相關(guān)的硬件產(chǎn)品和業(yè)內(nèi)生態(tài)進展靶溜,最佳實踐等。

邊緣計算的應用案例分享

最后懒震,分享一個來自紐約州石溪大學和新澤西理工的研究人員罩息,利用樹莓派和Intel NCS,設計一個簡易黑色素瘤檢測的手持設備个扰,相信在Intel NCS和OpenVINO的幫助下瓷炮,這類基于計算機視覺的邊緣計算應用,其部署商用會變得越來越簡單递宅。

https://www.slidestalk.com/u70/ApplyLightweightDeepLearningonIoTforLowCostSkinCancerDetection

參考資料

https://www.slidestalk.com/u70/IntelAIDC18

https://www.slidestalk.com/u70/bring_intelligence_to_edge_with_intel_NCS

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末崭别,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子恐锣,更是在濱河造成了極大的恐慌茅主,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件土榴,死亡現(xiàn)場離奇詭異诀姚,居然都是意外死亡,警方通過查閱死者的電腦和手機玷禽,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進店門赫段,熙熙樓的掌柜王于貴愁眉苦臉地迎上來呀打,“玉大人,你說我怎么就攤上這事糯笙”岽裕” “怎么了?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵给涕,是天一觀的道長豺憔。 經(jīng)常有香客問我,道長够庙,這世上最難降的妖魔是什么恭应? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮耘眨,結(jié)果婚禮上昼榛,老公的妹妹穿的比我還像新娘。我一直安慰自己剔难,他們只是感情好胆屿,可當我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著偶宫,像睡著了一般莺掠。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上读宙,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天,我揣著相機與錄音楔绞,去河邊找鬼结闸。 笑死,一個胖子當著我的面吹牛酒朵,可吹牛的內(nèi)容都是我干的桦锄。 我是一名探鬼主播,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼蔫耽,長吁一口氣:“原來是場噩夢啊……” “哼结耀!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起匙铡,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤图甜,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后鳖眼,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體黑毅,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年钦讳,在試婚紗的時候發(fā)現(xiàn)自己被綠了矿瘦。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片枕面。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖缚去,靈堂內(nèi)的尸體忽然破棺而出潮秘,到底是詐尸還是另有隱情,我是刑警寧澤易结,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布枕荞,位于F島的核電站,受9級特大地震影響衬衬,放射性物質(zhì)發(fā)生泄漏买猖。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一滋尉、第九天 我趴在偏房一處隱蔽的房頂上張望玉控。 院中可真熱鬧,春花似錦狮惜、人聲如沸高诺。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽虱而。三九已至,卻和暖如春开泽,著一層夾襖步出監(jiān)牢的瞬間牡拇,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工穆律, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留惠呼,地道東北人。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓峦耘,卻偏偏與公主長得像剔蹋,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子辅髓,可洞房花燭夜當晚...
    茶點故事閱讀 42,802評論 2 345