記錄修復新產(chǎn)品人臉無識別的問題

我們最近推出了一款新產(chǎn)品预柒,今天有用戶反饋一款新產(chǎn)品人臉無識別問題。比較奇怪痊剖,因為我們很多產(chǎn)品都使用了人臉識別技術(shù)告丢,此前從未出過類似問題枪蘑。

比較巧合的是這款新產(chǎn)品所在服務器沒有掛載物理磁盤损谦,而是采用我們自研的云磁盤技術(shù)岖免,將上傳圖片實時存儲到其它節(jié)點。

排查代碼后確認使用云磁盤技術(shù)后照捡,圖片不具有本地路徑導致識別失敗颅湘。

下圖是我們目前圖片識別流程,具體流程口述如下:

  1. 圖片本地路徑和回調(diào)方法首先被包裝成識別任務栗精;
  2. 將識別任務發(fā)往任務隊列闯参;
  3. 識別線程不斷從識別任務隊列獲取新的任務;
  4. 獲取到新的任務悲立,讀取本地路徑對應的文件流并轉(zhuǎn)成 BASE64鹿寨;
  5. 將 BASE64 發(fā)往百度人臉識別接口,獲取識別結(jié)果薪夕;
  6. 調(diào)用回調(diào)方法脚草。

其實就是生產(chǎn)者(單)和消費者(多)模式,效率比較高原献,但不支持優(yōu)先級調(diào)整馏慨。

我和同事各提出一種解決辦法,我基于效率考慮提出了第一種解決辦法姑隅,他出于可擴展性考慮提出第二種方法写隶。

第一種解決方法

本節(jié)點將圖片緩存到內(nèi)存,然后才發(fā)往遠程節(jié)點讲仰。如果將這片內(nèi)存包裝 Java 的 byte[] 然后包裝成識別任務慕趴,發(fā)往隊列。

這樣一來,識別程序需要作相應改動秩贰,以便支持將 byte[] 數(shù)據(jù)轉(zhuǎn)成 BASE64霹俺。

優(yōu)點:無需發(fā)起網(wǎng)絡請求,識別任務周轉(zhuǎn)率高
缺點:識別任務長時間占用內(nèi)存使得內(nèi)存利用率低毒费;識別程序與文件類型高度耦合丙唧;請求數(shù)過多時內(nèi)存線性增長

第二種解決方法

云磁盤技術(shù)采用 FileId 來標識每一個文件(無論是本地還是遠程)識別任務包裝 FileId,識別程序調(diào)用云磁盤接口來獲取數(shù)據(jù)流觅玻。
這樣一來想际,通過云磁盤來屏蔽底層文件位置差異,實現(xiàn)識別程序與文件位置解耦溪厘。

優(yōu)點:內(nèi)存資源利用率高胡本,按需讀取畸悬;通過 FileId侧甫,將文件位置與識別程序解耦,便于后期擴展(將識別程序解構(gòu)成獨立服務)蹋宦。
缺點:遠程文件需要發(fā)起網(wǎng)絡請求披粟,可能產(chǎn)生延遲影響后續(xù)任務周轉(zhuǎn)率

由于出發(fā)角度不同,可以看出兩種解決方法必須做出相應的權(quán)衡取舍冷冗,而且巧合是兩者恰好是對方的對立面守屉。最終基于擴展性考慮,決定使用第二種解決方法蒿辙。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末拇泛,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子思灌,更是在濱河造成了極大的恐慌俺叭,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,430評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泰偿,死亡現(xiàn)場離奇詭異熄守,居然都是意外死亡,警方通過查閱死者的電腦和手機甜奄,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,406評論 3 398
  • 文/潘曉璐 我一進店門柠横,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人课兄,你說我怎么就攤上這事牍氛。” “怎么了烟阐?”我有些...
    開封第一講書人閱讀 167,834評論 0 360
  • 文/不壞的土叔 我叫張陵搬俊,是天一觀的道長紊扬。 經(jīng)常有香客問我,道長唉擂,這世上最難降的妖魔是什么餐屎? 我笑而不...
    開封第一講書人閱讀 59,543評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮玩祟,結(jié)果婚禮上腹缩,老公的妹妹穿的比我還像新娘。我一直安慰自己空扎,他們只是感情好藏鹊,可當我...
    茶點故事閱讀 68,547評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著转锈,像睡著了一般盘寡。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上撮慨,一...
    開封第一講書人閱讀 52,196評論 1 308
  • 那天竿痰,我揣著相機與錄音,去河邊找鬼砌溺。 笑死影涉,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的抚吠。 我是一名探鬼主播常潮,決...
    沈念sama閱讀 40,776評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼弟胀,長吁一口氣:“原來是場噩夢啊……” “哼楷力!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起孵户,我...
    開封第一講書人閱讀 39,671評論 0 276
  • 序言:老撾萬榮一對情侶失蹤萧朝,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后夏哭,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體检柬,經(jīng)...
    沈念sama閱讀 46,221評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,303評論 3 340
  • 正文 我和宋清朗相戀三年竖配,在試婚紗的時候發(fā)現(xiàn)自己被綠了何址。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,444評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡进胯,死狀恐怖用爪,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情胁镐,我是刑警寧澤偎血,帶...
    沈念sama閱讀 36,134評論 5 350
  • 正文 年R本政府宣布诸衔,位于F島的核電站,受9級特大地震影響颇玷,放射性物質(zhì)發(fā)生泄漏笨农。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,810評論 3 333
  • 文/蒙蒙 一帖渠、第九天 我趴在偏房一處隱蔽的房頂上張望谒亦。 院中可真熱鬧,春花似錦空郊、人聲如沸诊霹。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,285評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽脾还。三九已至,卻和暖如春入愧,著一層夾襖步出監(jiān)牢的瞬間鄙漏,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,399評論 1 272
  • 我被黑心中介騙來泰國打工棺蛛, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留怔蚌,地道東北人。 一個月前我還...
    沈念sama閱讀 48,837評論 3 376
  • 正文 我出身青樓旁赊,卻偏偏與公主長得像桦踊,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子终畅,可洞房花燭夜當晚...
    茶點故事閱讀 45,455評論 2 359

推薦閱讀更多精彩內(nèi)容

  • Swift1> Swift和OC的區(qū)別1.1> Swift沒有地址/指針的概念1.2> 泛型1.3> 類型嚴謹 對...
    cosWriter閱讀 11,111評論 1 32
  • ORA-00001: 違反唯一約束條件 (.) 錯誤說明:當在唯一索引所對應的列上鍵入重復值時籍胯,會觸發(fā)此異常。 O...
    我想起個好名字閱讀 5,334評論 0 9
  • “好啦离福!你們也別互相傷害了杖狼。“曹艾艾打斷他們妖爷,指著前面轉(zhuǎn)角處的岔路說: “還好剛剛青云沒有把你們帶錯路蝶涩,左邊那條路...
    許小吖閱讀 379評論 4 3
  • 自律,做自己的主宰絮识。 明確言行的邊界绿聘,給出無數(shù)個不能或是嚴禁,在規(guī)矩的范圍內(nèi)行事次舌,做人熄攘。有人說,自律才有更大的自由...
    天線的觸角閱讀 135評論 0 0
  • 說起喜好烹看,我沒有太多,可是最喜歡的莫過于讀書洛史。 第一次接觸書惯殊,是在三,四歲那一年也殖,爸爸帶回了一本繪本土思,當時的我還很...
    期雨落閱讀 252評論 0 1