異構(gòu)計算助力客戶春節(jié)webp圖片編碼

摘要:?背景與挑戰(zhàn) 技博客 GigaOM 曾報道:YouTube 的視頻略縮圖采用 WebP 格式后矢空,網(wǎng)頁加載速度提升了 10%;谷歌的 Chrome 網(wǎng)上應(yīng)用商店采用 WebP 格式圖片后爬舰,每天可以節(jié)省幾 TB 的帶寬威沫,頁面平均加載時間大約減少 1/3;Google+ 移動應(yīng)用采用 WebP 圖片格式后洼专,每天節(jié)省了 50TB 數(shù)據(jù)存儲空間。

背景與挑戰(zhàn)

科技博客 GigaOM 曾報道:YouTube 的視頻略縮圖采用 WebP 格式后孵构,網(wǎng)頁加載速度提升了 10%屁商;谷歌的 Chrome 網(wǎng)上應(yīng)用商店采用 WebP 格式圖片后,每天可以節(jié)省幾 TB 的帶寬颈墅,頁面平均加載時間大約減少 1/3蜡镶;Google+ 移動應(yīng)用采用 WebP 圖片格式后,每天節(jié)省了 50TB 數(shù)據(jù)存儲空間恤筛。但Webp最大的缺點(diǎn)在于壓縮算法計算復(fù)雜度是JPEG的10倍以上官还,我們迫切需要一套高性能加速方案來降低業(yè)務(wù)成本。

項目

今年春節(jié)期間大客戶為了支持其搶紅包業(yè)務(wù)向阿里云提出了webp轉(zhuǎn)碼需求毒坛。根據(jù)以往經(jīng)驗總共需要準(zhǔn)備數(shù)幾十臺32核64線程的物理機(jī)望伦。阿里云為提升用戶體驗降低自身成本林说,使用FaaS(FPGA as a Service) F1實例加速webp編碼。其中FaaS團(tuán)隊提供了FPGA平臺支持屯伞,OSS團(tuán)隊提供了算法的支持腿箩。得益于高性能的FPGA平臺,我們使用5臺單卡FPGA云服務(wù)器扛下了日常40%的webp編碼流量劣摇。

效果

本次性能測試所使用樣本為512x512的圖片珠移,所有測試都在阿里云FaaS F1實例上測試。根據(jù)業(yè)務(wù)方的要求末融,我們對其中部分?jǐn)?shù)據(jù)值做了一些混淆钧惧。

1)延時

在使用了FPGA加速webp編碼之后,延遲降為原來的1/10勾习。

2)吞吐量

每個單卡的F1實例(8vcpu浓瞪,1 * ARRIA 10)可以獲得大約32核64線程物理機(jī)的~2倍吞吐量,跟某業(yè)內(nèi)專業(yè)加速webp編碼公司對比(在用同樣F1實例)语卤。我們發(fā)現(xiàn)某司的FPGA加速webp編碼對CPU依賴非常多追逮,但利用率又只有50-60%,這非常讓人費(fèi)解粹舵。

3)圖片質(zhì)量

下圖是在不同quality下钮孵,對比軟件(藍(lán)線)、OSS(紅線)眼滤、某司(綠線)的編碼后psnr曲線巴席。PSNR使用ImageMagick的convert工具計算,數(shù)值越大越好诅需。OSS提供的硬件加速算法漾唉,在圖像質(zhì)量方面幾乎跟軟件幾乎完全重合,某司提供的webp編碼加速器存在不小的差距(差距在0.1~0.5db之間)堰塌。

4)壓縮率

同樣使用圖片空間的測試架赵刑,quality設(shè)置也一樣,數(shù)值為相對JPEG原圖的壓縮率场刑,數(shù)值越小越好般此。經(jīng)過測試我們發(fā)現(xiàn)軟件、OSS牵现、某司的壓縮率幾乎完全重合铐懊,但依舊保持原有梯隊,軟件>OSS>某司瞎疼。

根據(jù)上面測試結(jié)果科乎,目前阿里云OSS的加速方案在webp壓縮場景所有指標(biāo)都超過了某司,除了壓縮率小幅領(lǐng)先之外贼急,其他兩個指標(biāo)都有非常明顯的優(yōu)勢茅茂。

未來

1)預(yù)計性能優(yōu)化完成之后E2E還可以提升50%的性能捏萍。壓縮率上,未來采用m6等級的編碼玉吁,其壓縮率比當(dāng)前壓縮率更高照弥。

2)單個FPGA板卡的成本遠(yuǎn)小于服務(wù)器,所以降低業(yè)務(wù)成本的關(guān)鍵在于提高FPGA的密度进副。未來webp加速器將使用F3實例这揣,單個芯片的FPGA性能提升了超過2倍,單臺服務(wù)器的FPGA芯片密度也提升了一倍影斑。

原文鏈接

閱讀更多干貨好文给赞,請關(guān)注掃描以下二維碼:

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市矫户,隨后出現(xiàn)的幾起案子片迅,更是在濱河造成了極大的恐慌,老刑警劉巖皆辽,帶你破解...
    沈念sama閱讀 218,386評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件柑蛇,死亡現(xiàn)場離奇詭異,居然都是意外死亡驱闷,警方通過查閱死者的電腦和手機(jī)耻台,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來空另,“玉大人盆耽,你說我怎么就攤上這事《蟛ぃ” “怎么了摄杂?”我有些...
    開封第一講書人閱讀 164,704評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長循榆。 經(jīng)常有香客問我析恢,道長,這世上最難降的妖魔是什么秧饮? 我笑而不...
    開封第一講書人閱讀 58,702評論 1 294
  • 正文 為了忘掉前任映挂,我火速辦了婚禮,結(jié)果婚禮上浦楣,老公的妹妹穿的比我還像新娘。我一直安慰自己咪辱,他們只是感情好振劳,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著油狂,像睡著了一般历恐。 火紅的嫁衣襯著肌膚如雪寸癌。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,573評論 1 305
  • 那天弱贼,我揣著相機(jī)與錄音蒸苇,去河邊找鬼。 笑死吮旅,一個胖子當(dāng)著我的面吹牛溪烤,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播庇勃,決...
    沈念sama閱讀 40,314評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼檬嘀,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了责嚷?” 一聲冷哼從身側(cè)響起鸳兽,我...
    開封第一講書人閱讀 39,230評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎罕拂,沒想到半個月后揍异,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,680評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡爆班,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評論 3 336
  • 正文 我和宋清朗相戀三年衷掷,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蛋济。...
    茶點(diǎn)故事閱讀 39,991評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡棍鳖,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出碗旅,到底是詐尸還是另有隱情渡处,我是刑警寧澤,帶...
    沈念sama閱讀 35,706評論 5 346
  • 正文 年R本政府宣布祟辟,位于F島的核電站医瘫,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏旧困。R本人自食惡果不足惜醇份,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望吼具。 院中可真熱鬧僚纷,春花似錦、人聲如沸拗盒。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,910評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽陡蝇。三九已至痊臭,卻和暖如春哮肚,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背广匙。 一陣腳步聲響...
    開封第一講書人閱讀 33,038評論 1 270
  • 我被黑心中介騙來泰國打工允趟, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人鸦致。 一個月前我還...
    沈念sama閱讀 48,158評論 3 370
  • 正文 我出身青樓潮剪,卻偏偏與公主長得像,于是被迫代替她去往敵國和親蹋凝。 傳聞我的和親對象是個殘疾皇子鲁纠,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評論 2 355

推薦閱讀更多精彩內(nèi)容