作者：羅必達(dá)，騰訊音視頻實驗室質(zhì)量平臺組組長眯杏，高級工程師。
我覺得這個問題很重要壳澳。很多向我咨詢音視頻測試方法的同學(xué)岂贩，也許連這個問題都還沒有想清楚（說得太直接，抱歉）巷波。其實這不奇怪萎津，說實話我也是最近才開始思考這個問題。音視頻測試測的究竟是什么抹镊？
我思考這個問題的原因是锉屈，很多同學(xué)向我咨詢音視頻測試方法，但我卻沒辦法給出一個明確的答案垮耳。腦海里把這5年的經(jīng)驗都翻了一遍颈渊，發(fā)現(xiàn)都無法找到可以滿足他們的答案。最后終于茅塞頓開终佛，原因是我們都沒想清楚要測的是什么俊嗽。
上文已經(jīng)提到，音視頻只是一種技術(shù)铃彰，應(yīng)用面太廣绍豁，并非但凡跟“音視頻”這幾個字眼沾上邊的都可以用一套方法去解決，也就是說牙捉，沒有“銀彈”竹揍。
首先我們要問自己，我所負(fù)責(zé)的音視頻業(yè)務(wù)究竟要測的是什么邪铲。是“音視頻本身”的質(zhì)量芬位，還是“音視頻周邊”相關(guān)的東西。
這么說有點抽象霜浴，我還是舉些例子吧晶衷。
例如我們這5年來一直負(fù)責(zé)的QQ音視頻通話，學(xué)術(shù)一點來說就是實時音視頻通話阴孟，因為音視頻的內(nèi)容是我們實時生成的晌纫，在傳輸過程中，為了保證通話的實時性永丝，我們還需要對音視頻的一些參數(shù)進(jìn)行實時調(diào)控（例如分辨率锹漱、碼率和幀率等等），以適應(yīng)復(fù)雜的網(wǎng)絡(luò)狀況（注意網(wǎng)絡(luò)狀況是不斷在實時變化的慕嚷，之前看了很多公司內(nèi)部關(guān)于網(wǎng)絡(luò)相關(guān)的分享哥牍，大多數(shù)建立在靜態(tài)分析上毕泌，這其實是不正確的，當(dāng)然業(yè)務(wù)不同嗅辣，關(guān)注點不一樣）撼泛。所以我們要測試的就是“音視頻的質(zhì)量”。
好了澡谭，大家可能要問愿题，還有不是測“音視頻質(zhì)量”的音視頻測試嗎？有的蛙奖，我再舉個例子潘酗。例如QQ空間里可能要播一個騰訊視頻，這個視頻已經(jīng)在后臺存好了雁仲，你沒辦法控制它的生成仔夺，也無法動態(tài)對它進(jìn)行調(diào)控（即使可以調(diào)控，也是非實時調(diào)控）攒砖。在這種情況下缸兔，你測試的并不是“音視頻質(zhì)量”，而是“播放質(zhì)量”吹艇，也就是我剛剛所說的“音視頻周邊”相關(guān)的東西灶体。這類測試，跟大家平時測的其他非音視頻需求沒有太大的不同掐暮，唯一區(qū)別就是蝎抽，可能對音視頻相關(guān)知識的一些了解會對你設(shè)計測試用例帶來一些幫助。
剛剛說了一大堆路克，無非是想告訴大家樟结，在接到音視頻測試需求的時候，需要對其進(jìn)行業(yè)務(wù)分析精算。我再重申一下剛剛的論點：
首先問自己瓢宦，我所測試的是不是音視頻質(zhì)量
在解答了這個問題后，你可以進(jìn)行業(yè)務(wù)分析了灰羽。
不同的業(yè)務(wù)驮履，對音視頻的要求是不一樣的，相應(yīng)的測試方法也不一樣廉嚼。我這里簡單做一些歸類：
實時通話類業(yè)務(wù)
例如我們所負(fù)責(zé)的QQ音視頻玫镐，就是這類業(yè)務(wù)。這類業(yè)務(wù)對實時性的要求很高怠噪。想象一下恐似，你在跟家人聊天，在講完一句話后傍念，要在幾秒后才能聽到對方的反應(yīng)矫夷，這是不可接受的葛闷。這就要求我們實時地根據(jù)網(wǎng)絡(luò)情況，提供不同質(zhì)量的音視頻双藕。例如淑趾，在鏈路帶寬突降的時候，我們需要立刻感知到忧陪，并且盡快降低碼率治笨，以使得通話能夠順利進(jìn)行（可參考網(wǎng)絡(luò)帶寬的水池效應(yīng)，這時候如果我們還追求所謂的清晰度赤嚼、流暢度，那其實是本末倒置的）顺又；當(dāng)帶寬恢復(fù)后更卒，我們還要盡快地把碼率提上來，以便用戶得到清晰流暢的畫面和聲音稚照。這些調(diào)整同樣需要在其他網(wǎng)絡(luò)損傷中進(jìn)行蹂空，例如丟包（還分隨機(jī)丟包和連續(xù)丟包）、抖動等等果录。
所以實時通話類業(yè)務(wù)的測試上枕，我們更多地把關(guān)注點放在”流控策略“上面。
異步通話類業(yè)務(wù)
異步通話類業(yè)務(wù)典型的代表是PTT弱恒。由于不需要根據(jù)網(wǎng)絡(luò)進(jìn)行實時調(diào)控（有點類似于傳文件）辨萍，所以這類音視頻業(yè)務(wù)的音視頻測試相對簡單，只需要關(guān)注生成的語音音質(zhì)和大小的權(quán)衡關(guān)系就行了（注意我只是說音視頻測試返弹，其他例如到達(dá)率等等的測試锈玉，那已經(jīng)不是音視頻測試的范疇了，下面幾個分類也如此）义起。也就是因為這樣拉背，這種業(yè)務(wù)的音視頻開發(fā)工作更多地是在選擇合適的CODEC以及選擇哪個碼率（非實時選擇）更優(yōu)上。這種情況下默终，對用戶在音質(zhì)和流量的接受程度就至關(guān)重要了椅棺，當(dāng)然，這種事情我個人認(rèn)為應(yīng)該產(chǎn)品經(jīng)理來把握比較好（別跟我扯產(chǎn)品經(jīng)理不需要技術(shù)知識）齐蔽。
一對多的秀場類業(yè)務(wù)
這類業(yè)務(wù)最近很火两疚，最典型的就是全民直播（例如映客、花椒等等含滴，一抓一大把）鬼雀。這類業(yè)務(wù)的特點是對延時要求不高，但對清晰度和流暢度要求很高蛙吏。也正是因為延時要求不高的特點源哩，才可以把碼率維持在高段鞋吉，來做到高分辨率和高幀率（這是實時類無法做到的）。一般來講励烦，技術(shù)上都以RTMP來實現(xiàn)谓着。
基于以上特點，這類音視頻業(yè)務(wù)坛掠，重點就不是放在”音視頻本身”的質(zhì)量上了赊锚，而是其他體驗了，比如說美顏屉栓、美白等等跟趣味相關(guān)的前處理上舷蒲，還有頻道進(jìn)入的速度、切換速度等用戶體驗上友多。
另外必須要提一下牲平，這類業(yè)務(wù)并非完全對實時性沒有要求。例如教育域滥，在一般場景下纵柿，確實是這種一對多的業(yè)務(wù)形態(tài)，但是启绰，一旦有老師跟學(xué)生之間的交互昂儒，那么，保證一定的實時性也是必須的委可。所以渊跋，還是得看具體的業(yè)務(wù)形態(tài)具體分析。
流媒體類業(yè)務(wù)
流媒體類業(yè)務(wù)是音視頻技術(shù)的一個很重要的分支着倾。作為常年從事通話類業(yè)務(wù)的我刹枉，或許沒有太多資格來對這一塊提建議。但因為這個部分是介紹不同業(yè)務(wù)的音視頻測試特點屈呕，我還是有必要來講一下流媒體這一個分類微宝。
流媒體類業(yè)務(wù)相對通話類業(yè)務(wù)，有一個很大的不同虎眨，那就是用戶之間基本上沒有音視頻層面的互動蟋软。廣義上來講秀場類業(yè)務(wù)也可以歸為這一類。
同樣嗽桩，這類業(yè)務(wù)對實時性沒有要求岳守，音視頻也是存儲在后臺的數(shù)據(jù)。音視頻測試在這類業(yè)務(wù)上更多是關(guān)注編碼或者轉(zhuǎn)碼的質(zhì)量碌冶。這類測試由于可以使用很多全參考的工具（如PEAQ湿痢、PEVQ等），相對來講會比較簡單，甚至開發(fā)人員自己就可以對這一塊進(jìn)行測試了譬重。
在傳輸層面拒逮，我不太清楚現(xiàn)在的流媒體業(yè)務(wù)會不會根據(jù)網(wǎng)絡(luò)情況來動態(tài)轉(zhuǎn)碼（比如動態(tài)轉(zhuǎn)分辨率和碼率）。如果有臀规，那這一塊文章就大了滩援。如果沒有，只是靜態(tài)地切換幾個已生成的分辨率塔嬉，那基本上也跟音視頻測試沒太大的關(guān)系了玩徊。
這類業(yè)務(wù)離不開下面要講的另一類業(yè)務(wù)。
播放類業(yè)務(wù)
我把QQ音樂和騰訊視頻這種業(yè)務(wù)的客戶端歸類到播放類上（也就是說谨究，不考慮服務(wù)器的內(nèi)容生成或轉(zhuǎn)碼部分）恩袱。這類業(yè)務(wù)剛剛提過，測試的其實不是“音視頻本身”的質(zhì)量胶哲，而是播放器的質(zhì)量畔塔。這類業(yè)務(wù)在傳輸方面，更多的是考慮緩存大小與實際體驗（例如流暢性）的關(guān)系纪吮。
但是這里有一點要注意的，這類業(yè)務(wù)也并不是完全和音視頻測試毫無關(guān)系萎胰，例如QQ音樂客戶端有個音效相關(guān)的功能碾盟，這是后處理技術(shù)，也是需要一定的音視頻測試技竟。
冰肴。。榔组。熙尉。。搓扯。
還有很多業(yè)務(wù)類型检痰，就不在這里一一列舉了。
也許上面的分類不一定準(zhǔn)確锨推，但這不重要铅歼，重要的是想希望大家在面對音視頻相關(guān)的測試需求時，認(rèn)真分析一下其特點换可，然后有所針對地進(jìn)行測試椎椰。
需要什么知識
無論你是不是“真的在測音視頻”，跟音視頻沾點邊的需求沾鳄，都需要你具備一定的音視頻基礎(chǔ)知識慨飘。
當(dāng)然這些知識沒有辦法在一篇文章里面講清楚，所以僅在這里列舉一下译荞，大家可以根據(jù)自己的需求去學(xué)習(xí)瓤的。
音頻知識
（基礎(chǔ)篇）
了解術(shù)語：采樣率休弃、聲道、碼率堤瘤、噪聲抑制（NS）玫芦、回聲抵消（EC）、增益控制（GC）本辐、信噪比
了解CODEC：語音類CODEC桥帆、音樂類CODEC，以及他們之間的應(yīng)用范圍及區(qū)別
（進(jìn)階篇）
了解采樣定理慎皱、心理聲學(xué)模型老虫、傅里葉變換、頻譜
視頻知識
（基礎(chǔ)篇）
了解術(shù)語：分辨率茫多、顏色空間（RGB祈匙、YUV等）、幀率天揖、碼率
（進(jìn)階篇）
了解人眼視覺系統(tǒng)特性夺欲，了解視頻編碼原理，了解幀類型（I幀今膊、P幀些阅、B幀）及參考關(guān)系
網(wǎng)絡(luò)知識
（基礎(chǔ)篇）
了解損傷類型：丟包（連續(xù)丟包、隨機(jī)丟包斑唬；固有丟包市埋、擁塞丟包）、延時恕刘、抖動
（進(jìn)階篇）
了解丟包恢復(fù)策略（FEC缤谎、重傳）及其優(yōu)缺點，了解Jitter Buffer及其影響褐着，了解實時帶寬預(yù)測算法
評測知識
無參考評估坷澡、全參考評估（PESQ、POLQA含蓉、PEAQ洋访、PSNR、SSIM谴餐、PEVQ等）姻政、MOS
其他
了解一些攝影相關(guān)的知識（例如快門、光圈岂嗓、感光度）汁展，了解一些平臺音視頻相關(guān)的API（采集和渲染）
Q&A
這里把一些大家以前問到，或者可能問題的一些典型問題，拋出來給大家分享一下食绿。
Q：清晰度高指的是分辨率高嗎侈咕？
A：這個估計是很多非音視頻專業(yè)的同學(xué)常常會搞混的兩個概念。我這里先給出答案：分辨率確實會影響清晰度器紧，但是兩者沒有絕對的關(guān)系耀销。為什么這么說呢？拋開采集因素（例如攝像頭沒對焦）之外铲汪，這里還涉及一個因素：碼率熊尉。我先假設(shè)這里大家講的不是無損視頻，那么必然涉及到編碼掌腰。如果編碼碼率低狰住，就算分辨率再高，單幀質(zhì)量也會由于各種塊效應(yīng)顯得很“臟”齿梁，就更不用提清晰度了催植。
Q：采樣率對音質(zhì)有什么影響？
A：首先要了解采樣定理勺择，即采樣率必須高于輸入信號最高頻率的2倍创南，這樣才能無失真地恢復(fù)原始信號或完整地保留信息。也就是說省核，8kHz的采樣率只能表示0~4kHz頻率的聲音信號稿辙，而48kHz能夠表示0~24kHz頻率的聲音信號。所以芳撒，如果要表示所有人耳能聽到的所有聲音（頻率范圍20~20kHz）邓深，就必須使用40kHz以上的采樣率（常見的是44.1kHz和48kHz）未桥。當(dāng)然笔刹，采樣率高了，意味著數(shù)據(jù)量就大了冬耿，編碼后的碼率也就高了舌菜。所以選擇什么采樣率，跟你的應(yīng)用對高頻的需求有多大亦镶。例如電話這種應(yīng)用日月，目的是用于人與人的溝通，而人類的發(fā)聲范圍是100~3400Hz缤骨，所以8kHz基本上就能滿足爱咬。QQ音視頻用的是16kHz采樣率，因為用戶在滿足溝通之余绊起，還需要一定的所謂的真實感精拟。
這個采樣定理也可以用在視頻上，比如上面所說的分辨率，實際上就是空間采樣率蜂绎，分辨率越高栅表，能夠表示的空間頻率越大，也就是說可以表示更加復(fù)雜的紋理师枣，所以一般情況下清晰度也就上去了怪瓶。
Q：碼率能再低些嗎？
A：這是我最經(jīng)常被問到的問題践美，特別是之前在跟手Q基礎(chǔ)側(cè)PK音視頻流量的時候洗贰。這個問題其實不好回答，因為這里涉及到質(zhì)量與碼率的權(quán)衡關(guān)系拨脉。在相同的CODEC情況下哆姻，碼率對質(zhì)量的影響最大，降低碼率玫膀，意味著就損失質(zhì)量矛缨，而音視頻質(zhì)量卻又是一個非常主觀的東西。你很難證明目前的質(zhì)量是否可以再降帖旨。因此QQ音視頻只能在移動網(wǎng)絡(luò)這種流量敏感的網(wǎng)絡(luò)類型中箕昭，提供比wifi及有線網(wǎng)絡(luò)質(zhì)量稍差的體驗，以減少流量的消耗解阅。但是依然會被問落竹，還能再低些嗎？這個問題沒有答案货抄。
Q：我看你們的文檔里經(jīng)常有提到主觀測試述召，有更高效的方法嗎？
A：首先蟹地，我要強(qiáng)調(diào)一點积暖，如果你是做音視頻測試，一定不能排斥主觀測試怪与，哪怕效率低下夺刑。這是因為音視頻質(zhì)量本來就是一個很主觀的東西。我舉個例子分别，在可用帶寬極低的情況下遍愿，QQ音視頻能用的碼率有限，在視頻中耘斩，必然涉及清晰度和流暢度的權(quán)衡沼填。如果這時你問不同的人，是希望保證清晰度還是流暢度括授，你肯定會得到不同的答案坞笙。ITU對主觀測試有一些規(guī)范轧邪，也就是我們經(jīng)常聽到的MOS評分，這是最準(zhǔn)確的測試方法羞海。
但是主觀測試確實很影響效率忌愚，這個毋庸置疑，所以業(yè)內(nèi)也有很多人在研究客觀評測的方法却邓，例如PESQ等等硕糊，目的是使得這些工具評測的結(jié)果更加符合主觀。
再來舉個我們經(jīng)常提到的一個悖論的例子腊徙。我們來說一下回聲抵消的測試简十。目前我們回聲抵消只有主觀測試的方法，為什么呢撬腾？回聲抵消算法的關(guān)鍵是區(qū)分一段語音近端信號和遠(yuǎn)端回聲螟蝙，然后進(jìn)行消除。我們要測試回聲抵消的效果民傻，那么就需要一個判斷回聲是否被消除干凈的算法或工具胰默，咦，這不就是在做回聲抵消嗎漓踢？如果我的算法沒有開發(fā)的算法好牵署，那我肯定檢查不出來是否有回聲，如果算法比開發(fā)的好喧半，那為啥開發(fā)不直接把我的算法用在回聲抵消中呢奴迅？
Q：能否告訴我你的測試結(jié)果究竟是pass還是fail？
A：能挺据，也不能取具。音視頻質(zhì)量的測試從來就不只有0和1的結(jié)果。音視頻質(zhì)量往往是在給定資源情況下的一種權(quán)衡結(jié)果（參考上面講到的清晰度與流暢度）扁耐。所以這里要明確你的目標(biāo)是什么暇检，但這個目標(biāo)不一定是“正確”的。如果拿捏不準(zhǔn)自己的產(chǎn)品音視頻質(zhì)量是否已經(jīng)達(dá)到最優(yōu)做葵，通過競品對比分析也是一種很有效的解決方法占哟，這也是很多產(chǎn)品在做性能優(yōu)化時采用的手段
