HDC2021技術(shù)分論壇：吐司盒子衫画？芝士碼？HarmonyOS創(chuàng)新音視頻測試技術(shù)來啦
作者：lifusheng瓮栗，用戶體驗技術(shù)專家
當(dāng)下削罩，音視頻無處不在，很多設(shè)備和應(yīng)用都涉及音視頻费奸。因而弥激，對于HarmonyOS開發(fā)者們來說，如何對鴻蒙生態(tài)產(chǎn)品進(jìn)行音視頻測試是一個非常重要的問題愿阐。
華為HarmonyOS生態(tài)整機(jī)測試能力中心——DevEco Testing微服，為生態(tài)合作伙伴接入HarmonyOS生態(tài)提供專業(yè)的測試服務(wù)。DevEco Testing推出的音視頻測試服務(wù)缨历，為HarmonyOS整機(jī)提供音視頻評測能力以蕴，滿足開發(fā)者們的上述需求，也為鴻蒙生態(tài)保駕護(hù)航辛孵。
下面我們以手機(jī)投屏業(yè)務(wù)為例來聊一聊音視頻測試吧~
一丛肮、傳統(tǒng)音視頻測試的痛點
手機(jī)投屏業(yè)務(wù)，是將手機(jī)播放的視頻投屏到智能大屏或平板等觉吭。針對手機(jī)投屏業(yè)務(wù)腾供，傳統(tǒng)的音視頻測試方法就是通過高速相機(jī)錄制投屏的視頻內(nèi)容和手機(jī)播放的視頻內(nèi)容，再用視頻工具將高速相機(jī)錄制的內(nèi)容逐幀提取出來鲜滩，人工分析視頻流暢伴鳖、聲畫同步和時延等測試指標(biāo)。
傳統(tǒng)的音視頻測試存在以下痛點：
1. 很多環(huán)節(jié)需要人工分析徙硅，工作量大榜聂，誤差也大
在分析視頻時延、視頻流暢嗓蘑、音頻時延须肆、聲畫同步等指標(biāo)時，除了專業(yè)的工具外桩皿，往往還需要分析人員逐幀逐采樣點地進(jìn)行結(jié)果分析豌汇。每測試1分鐘的內(nèi)容，就要分析14400張圖片泄隔，2880000個音頻波形采樣點拒贱，并對圖片和音頻波形進(jìn)行比對，工作量巨大。同時逻澳，人為因素引入的誤差也比較大闸天。
2. 聲畫同步測試效率低
所有錄像設(shè)備錄制的內(nèi)容都會存在聲畫同步偏差。同一個設(shè)備在不同時間錄制的內(nèi)容斜做，聲畫同步偏差也不同苞氮。傳統(tǒng)的測試方法是：選擇自然界中的真實內(nèi)容（例如打板、敲擊桌子或者鋼珠掉落等）作為聲畫同步測試的校準(zhǔn)依據(jù)瓤逼，然后人工分析聲畫同步偏差笼吟，比較費力，且效率低霸旗。
3. 錄制的圖像很容易產(chǎn)生斷裂
高速相機(jī)錄制液晶屏幕赞厕，因為液晶屏幕的逐行刷新特性，錄制的圖像很容易發(fā)生丟幀定硝、幀重疊等，導(dǎo)致圖像斷裂毫目，如圖1所示蔬啡。
4. 測試工具的錄制頻率低，引起測試偏差比較大
目前主流音視頻測試工具的錄制頻率是60赫茲镀虐，引起的測試偏差起碼有1/60秒（大約16.7毫秒）箱蟆。
二、DevEco Testing音視頻測試的優(yōu)勢
針對以上痛點刮便，DevEco Testing音視頻測試服務(wù)是如何應(yīng)對的呢空猜？下面就讓我們一一揭曉~
1. DevEco Testing的音視頻測試服務(wù)實現(xiàn)了播放、采集恨旱、分析全流程自動化測試辈毯，無需人工干預(yù)。
2. 我們設(shè)計了一個可以由計算機(jī)視覺和聲音識別的搜贤、物理的聲畫同步源——吐司盒子谆沃。
吐司盒子可校準(zhǔn)所有錄像的聲畫同步偏差，還可以作為錄像仪芒、直播唁影、視頻通話類業(yè)務(wù)的測試工具，讓計算機(jī)視覺聽覺可以自動化分析測試結(jié)果掂名。
3. 針對錄制圖像斷裂的問題据沈，我們設(shè)計了芝士碼。
芝士碼是基于格雷碼而全新設(shè)計的二維碼饺蔑。音視頻測試時锌介，DevEco Testing后臺推送視頻到被測設(shè)備播放。推送視頻的每一幀都含有一個芝士碼膀钠，DevEco Testing很容易檢測出是否發(fā)生丟幀掏湾、幀重疊等裹虫。
4. ?我們選擇支持240赫茲的錄像設(shè)備，提升測試精度融击，讓測試偏差控制在1/240秒（大約4.17毫秒）筑公。
三、測試流程和實例
了解了DevEco Testing音視頻測試服務(wù)的優(yōu)勢后尊浪，下面讓我們來看看DevEco Testing音視頻測試的測試流程和測試實例匣屡。
1. 典型組網(wǎng)和測試流程
DevEco Testing音視頻測試的典型組網(wǎng)如圖4所示。
目前拇涤，DevEco Testing的音視頻測試服務(wù)提供三項檢測服務(wù)：視頻流暢性測試捣作、視頻質(zhì)量測試和編解碼能力測試。
以視頻流暢性測試為例鹅士，測試流程如下：
（1）用戶在PC端的DevEco Testing客戶端上創(chuàng)建測試任務(wù)券躁，并開始測試任務(wù)。
（2）PC端上的DevEco Testing根據(jù)測試任務(wù)中配置的“視頻分辨率”和“測試幀率”掉盅，選擇最佳的視頻源傳輸?shù)奖粶y設(shè)備也拜。
（3）DevEco Testing控制被測設(shè)備，打開對應(yīng)的app播放器趾痘，單文件循環(huán)播放剛剛傳輸?shù)囊曨l慢哈。
（4）DevEco Testing下發(fā)指令給吐司盒子，吐司盒子開始工作永票。
（5）DevEco Testing下發(fā)開始錄制的指令給錄像設(shè)備卵贱，錄像設(shè)備錄制被測設(shè)備和吐司盒子的視頻。測試任務(wù)中配置了“測試時長”侣集，到達(dá)時長后键俱，DevEco Testing下發(fā)停止錄制的指令給錄像設(shè)備。
（6）DevEco Testing下發(fā)指令給吐司盒子世分，吐司盒子停止工作方妖。
（7）錄像設(shè)備上傳錄制的視頻到PC端，PC端的DevEco Testing對視頻進(jìn)行分析罚攀，形成測試報告党觅，然后將測試報告上傳到云端。
通過以上測試流程可知斋泄，用戶需要執(zhí)行操作的就是第（1）步——創(chuàng)建和開始測試任務(wù)杯瞻，然后等待DevEco Testing自動完成測試并生成測試報告即可。
2. 測試實例
下面我們?nèi)匀灰允謾C(jī)投屏業(yè)務(wù)為例炫掐，來看看DevEco Testing音視頻測試需要準(zhǔn)備的設(shè)備和具體的操作步驟魁莉。
圖5是手機(jī)投屏業(yè)務(wù)的測試場景。根據(jù)圖5可知，需要準(zhǔn)備如下設(shè)備：
（1）被測設(shè)備：即播放視頻的手機(jī)旗唁。
（2）投屏設(shè)備：用于將被測設(shè)備播放的視頻投屏到此設(shè)備畦浓。
（3）吐司盒子：聲畫偏差的校準(zhǔn)設(shè)備，是一個可以由計算機(jī)視覺和聲音識別的检疫、物理的聲畫同步源讶请。
（4）錄像設(shè)備：支持240幀慢動作錄制的設(shè)備。圖1中的錄像設(shè)備是一臺手機(jī)屎媳。
除了以上四個設(shè)備外夺溢，還需準(zhǔn)備一臺Windows 10（64位）的PC機(jī)，并在PC機(jī)上安裝DevEco Testing客戶端烛谊。
以上設(shè)備連接就緒后风响，就可以開始測試了。
下面為大家介紹如何創(chuàng)建和開始測試任務(wù)丹禀，以及如何查看測試報告：
（1）登錄DevEco Testing客戶端状勤，選擇“圖形圖像測試 > 音視頻測試”。
（2）選擇測試服務(wù)双泪，比如“視頻流暢性測試”荧降。
（3）在圖7所示的“創(chuàng)建任務(wù)”界面配置測試參數(shù)，點擊“開始測試”攒读。
（4）圖8所示的“測試執(zhí)行”界面顯示測試任務(wù)的進(jìn)度和過程步驟。
（5）測試任務(wù)執(zhí)行完成后辛友，點擊右下角的“查看報告”薄扁，即可查看詳細(xì)的測試結(jié)果，如圖9所示废累。
以上就是本期DevEco Testing音視頻測試的介紹內(nèi)容了邓梅，歡迎大家體驗DevEco Testing音視頻測試服務(wù)！
