【導語】預計到2020年卢佣,全球?qū)⒂?00億聯(lián)網(wǎng)設備房揭,設備端與云端的數(shù)據(jù)傳輸量將高達數(shù)百億PB。對物聯(lián)網(wǎng)而言氯葬,如果邊緣計算技術(shù)取得突破挡篓,意味著數(shù)據(jù)將通過本地設備處理并做出反饋,而無需交由云端帚称,計算處理過程將在本地邊緣端完成官研。這無疑將大大提升處理效率,減輕云端的負荷闯睹,還可為用戶帶來更快的響應戏羽,減少數(shù)據(jù)隱私泄露,提高邊緣端計算可靠性等等好處楼吃。
什么是邊緣計算始花?
邊緣計算并非是一個新鮮詞,無論是云還是邊緣計算孩锡,本身只是實現(xiàn)物聯(lián)網(wǎng)酷宵、智能制造等所需要計算技術(shù)的一種方法或者模式。本質(zhì)上躬窜,只是相對于云計算而言浇垦,邊緣計算是在接近于現(xiàn)場應用端提供的計算。
邊緣計算優(yōu)點更多體現(xiàn)在:
減少網(wǎng)絡帶寬:減少數(shù)據(jù)從傳感器/設備端傳向云端所占用的網(wǎng)絡帶寬斩披;
降低延遲:降低由云端決策并在設備端執(zhí)行反饋的延遲溜族;
數(shù)據(jù)隱私:無需上傳涉及用戶隱私數(shù)據(jù),直接在邊緣端判斷形成決策反饋垦沉;
應用可靠性:物聯(lián)網(wǎng)設備工作環(huán)境有可能會比較惡劣煌抒,無法聯(lián)網(wǎng)等情況也會時有發(fā)生,邊緣端計算將有效降低對云端的依賴度厕倍。
接下來寡壮,我們以計算機視覺和AI在邊緣端的應用場景為例,典型的應用場景為:智能機器人讹弯,安全攝像頭况既,智能家居助手,這些應用場景涉及到的核心算法為:物體識別组民,物體分類棒仍,人臉識別以及自然語言處理等。
AI應用開發(fā)過程
通常人工智能應用的開發(fā)過程分為4步:
數(shù)據(jù)獲取與預處理
深度學習/機器學習建模
訓練并調(diào)整模型參數(shù)臭胜,以滿足性能和精確度的平衡
部署訓練好的模型
我們這里談論邊緣計算莫其,主要體現(xiàn)在將訓練好的模型部署在邊緣端的設備上(并非利用邊緣端來做深度學習訓練)癞尚。
深度學習模型通常包含海量的參數(shù),需要強大的計算力進行大規(guī)模的神經(jīng)網(wǎng)絡矩陣運算乱陡;但是終端和物聯(lián)網(wǎng)設備往往更多考慮小體積和低功耗的要求浇揩,以至于很難兼顧滿足高性能神經(jīng)網(wǎng)絡計算力和實時性要求。
將計算從云端遷移到邊緣端憨颠,碰到的主要障礙為:
精確度
計算能力
模型效率
模型大小
講到這里胳徽,我們可以開始談談Movidius這家公司了。Movidius是一家計算機視覺智能芯片公司爽彤,2016年9月份被英特爾收購养盗,用以擴充英特爾在物聯(lián)網(wǎng)視頻/視覺領域的版圖。
Movidius這家公司的核心技術(shù)适篙,Intel Movidius Myriad 2 Vision Processing Unit (VPU)爪瓜,是一款超低功耗,為無人機匙瘪,機器人,虛擬現(xiàn)實以及智能安全等領域提供高性能視覺智能解決方案的計算芯片蝶缀。
超低功耗設計:Myriad?2擁有在低功耗下多個高級視覺算法實現(xiàn)丹喻,讓視覺應用程序完全可以基于這種小型封裝設備運行,適用于大量的物聯(lián)網(wǎng)設備等芯片功耗及電池使用時間都極其敏感的應用場景翁都。
高性能處理器:在邊緣端為物聯(lián)網(wǎng)設備提供人類視覺的計算能力碍论,讓計算機視覺應用可以運行在傳統(tǒng)計算芯片無法勝任的功耗和溫度要求及其苛刻的環(huán)境下。
可編程架構(gòu):集成該芯片的設備制造商柄慰,通過集成Myriad 2的高性能軟件庫鳍悠,可以開發(fā)出不同的功能特點的應用程序。
小面積設計:芯片封裝面積非常小坐搔,很容易集成到現(xiàn)有的移動設備藏研,可穿戴設備和嵌入式設備中。
Movidius神經(jīng)計算棒(2代)
英特爾?Movidius?神經(jīng)計算棒是基于USB模式的深度學習推理工具和獨立的人工智能(AI)協(xié)處理器概行,其內(nèi)部核心是一顆Myriad 2處理器(28nm工藝)蠢挡,具有80~150 GFLOPS的性能,該處理器也被稱為視覺處理單元 (或視覺加速器)凳忙,功耗僅為1W左右(作為參考业踏,樹莓派3B在HDMI關(guān)閉,LED熄滅和WiFi開啟時功耗大概在1.2W)涧卵,因此完全可以通過USB供電勤家,可以廣泛的為邊緣主機設備提供專用深度神經(jīng)網(wǎng)絡處理功能。外形小巧的MovidiusTM神經(jīng)計算棒專為產(chǎn)品開發(fā)者柳恐、研究人員和創(chuàng)客設計伐脖,提供專用高性能深度神經(jīng)網(wǎng)絡處理性能热幔,從而減少開發(fā)、調(diào)優(yōu)和部署人工智能應用的障礙晓殊。
如何使用英特爾神經(jīng)計算棒來做邊緣推理
單來說断凶,這個過程需要分為3個步驟:
模型訓練(數(shù)據(jù)中心--云端),常用的深度學習框架:Caffe / TensorFlow / mxnet /?等等巫俺。
優(yōu)化和編譯(筆記本電腦+NCS)认烁,將模型在不怎么損失太多精度的情況下進行優(yōu)化和格式轉(zhuǎn)化,用以生成適合不同硬件二進制模型介汹。
部署模型并用于實際場景的推理
從上圖所述却嗡,有2點值得強調(diào):
模型部署好后的推理,Intel有很多種方案嘹承,比如CPU / GPU / FPGA / VPU等解決方案窗价,分別適用不同的應用場景;
上述工具和開發(fā)包叹卷,Intel也配套提供了軟件包叫做OpenVINO撼港,如果再將上述過程細化,如下圖所示:
上述過程每個階段都有相應的軟件框架和工具來完成骤竹,為了讓大家更熟悉上述過程怎么玩帝牡,Intel現(xiàn)在每年都會舉辦英特爾人工智能開發(fā)者大會,幫助大家熟悉并了解相關(guān)的工具集蒙揣,以及相關(guān)的硬件產(chǎn)品和業(yè)內(nèi)生態(tài)進展靶溜,最佳實踐等。
邊緣計算的應用案例分享
最后懒震,分享一個來自紐約州石溪大學和新澤西理工的研究人員罩息,利用樹莓派和Intel NCS,設計一個簡易黑色素瘤檢測的手持設備个扰,相信在Intel NCS和OpenVINO的幫助下瓷炮,這類基于計算機視覺的邊緣計算應用,其部署商用會變得越來越簡單递宅。
https://www.slidestalk.com/u70/ApplyLightweightDeepLearningonIoTforLowCostSkinCancerDetection
參考資料
https://www.slidestalk.com/u70/IntelAIDC18
https://www.slidestalk.com/u70/bring_intelligence_to_edge_with_intel_NCS