直播系統(tǒng)流暢保證設(shè)計(jì)要點(diǎn)淺析
視頻播放不流暢，一般有兩個(gè)原因：
視頻播放不均勻正蛙。
比如，視頻幀原本是40ms一幀营曼，如果我們播放的時(shí)候乒验，一會20秒一幀進(jìn)行播放，一會兒60秒一幀進(jìn)行播放溶推，那么最后結(jié)果必定是會出現(xiàn)卡頓徊件。當(dāng)然奸攻，如果根據(jù)視頻時(shí)間戳蒜危，視頻幀間隔本來是20-60幀，我們強(qiáng)行按照40-40播放睹耐，也會進(jìn)行卡頓辐赞。也就是說，視頻播放時(shí)硝训，不遵循時(shí)間戳响委，將會導(dǎo)致卡頓發(fā)生。
視頻有丟幀窖梁。
視頻出現(xiàn)丟幀后赘风，會導(dǎo)致視頻不流暢。如果連續(xù)的丟幀太多纵刘，會導(dǎo)致出現(xiàn)明顯卡頓邀窃。如果參考幀丟失，則會影響到之后若干個(gè)幀假哎。
視頻出現(xiàn)馬賽克瞬捕，一般有兩個(gè)原因：
視頻ES不完整，也就是說舵抹，出現(xiàn)了數(shù)據(jù)丟包肪虎。
解碼器解碼非參考幀時(shí)，參考了錯(cuò)誤的參考幀惧蛹。例如一個(gè)非參考幀之前的那個(gè)參考幀丟失扇救，那么會導(dǎo)致本幀會參考上上個(gè)參考幀，從而可能出現(xiàn)馬賽克香嗓。
事實(shí)上迅腔，在web網(wǎng)絡(luò)中，網(wǎng)絡(luò)情況非常復(fù)雜陶缺。同時(shí)保證視頻的實(shí)時(shí)性和流暢性钾挟，是很難的。但是饱岸，犧牲實(shí)時(shí)性來保證流暢掺出，這個(gè)是可以做到的徽千。下面，將從3個(gè)方面來研究怎么來讓視頻的播放體驗(yàn)更好汤锨。（下面的優(yōu)化痘绎，暫不考慮動態(tài)切換碼率藤违。）
視頻編碼發(fā)送端的優(yōu)化。
編碼發(fā)送端，首先必須保證時(shí)間戳的準(zhǔn)確性序愚，輸入給編碼器視頻幀的時(shí)候，準(zhǔn)確告訴其時(shí)間戳蛇耀。時(shí)間戳精確度可以達(dá)不到27MHz框喳，這個(gè)沒關(guān)系，但準(zhǔn)確性要保證锨并。當(dāng)然露该，精度需要至少達(dá)到毫秒級。
編碼器發(fā)送數(shù)據(jù)的目標(biāo)第煮，是保證所有數(shù)據(jù)都完整的發(fā)送到服務(wù)器端解幼。但網(wǎng)絡(luò)情況的復(fù)雜性，可能導(dǎo)致一些時(shí)候偶爾無法做到這一點(diǎn)包警。我們要做到的是撵摆，就是讓偶然的網(wǎng)絡(luò)故障不影響網(wǎng)絡(luò)數(shù)據(jù)的完整性。因此害晦，我們需要在發(fā)送端進(jìn)行數(shù)據(jù)緩存特铝。需要建立一個(gè)發(fā)送緩沖區(qū)，編碼后的數(shù)據(jù)篱瞎，交給發(fā)送緩沖區(qū)苟呐，然后由發(fā)送模塊全力將發(fā)送緩沖區(qū)內(nèi)容發(fā)送到服務(wù)器。
如果網(wǎng)絡(luò)出現(xiàn)意外的時(shí)間較長俐筋，或者網(wǎng)絡(luò)中斷牵素。如果數(shù)據(jù)不斷被提交給發(fā)送緩沖區(qū)，而發(fā)送模塊一直未能將發(fā)送緩沖區(qū)的數(shù)據(jù)發(fā)送到服務(wù)器澄者，這樣會導(dǎo)致發(fā)送緩沖區(qū)的數(shù)據(jù)越來越多笆呆。因此我們必須為發(fā)送緩沖區(qū)設(shè)定一個(gè)上限。此處需要說的是粱挡，如果緩沖區(qū)滿了之后的丟幀策略：丟幀必須整幀整幀的丟赠幕，不能丟半截；優(yōu)先丟時(shí)間戳更早的幀询筏；優(yōu)先丟非參考幀榕堰；如果參考幀被丟，那么到下一個(gè)參考幀之前的幀，全部需要丟掉逆屡。
網(wǎng)絡(luò)模塊可以失敗重連圾旨，但重連之后必須繼續(xù)重連之前的數(shù)據(jù)發(fā)送任務(wù)。發(fā)送成功的半幀數(shù)據(jù)魏蔗，視作發(fā)送失敗砍的，需要重發(fā)。
流媒體服務(wù)器端的優(yōu)化莺治。
流媒體服務(wù)器廓鞠，需要將收到的數(shù)據(jù)進(jìn)行分發(fā)。數(shù)據(jù)接收部分谣旁，流媒體服務(wù)器是被動的床佳，除了實(shí)做方式的優(yōu)化，理論上的可用的改進(jìn)基本沒有蔓挖。
流媒體服務(wù)器的數(shù)據(jù)分發(fā)夕土，是由播放器端主動請求發(fā)起的馆衔。那么服務(wù)器端需要處理的問題是瘟判，在播放器端的網(wǎng)絡(luò)不穩(wěn)定的情況下，播放器能夠隨時(shí)獲取到之前因?yàn)榫W(wǎng)絡(luò)故障而未能獲取到的數(shù)據(jù)角溃。因此拷获，流媒體服務(wù)器端，也需要有緩存的數(shù)據(jù)减细。
流媒體服務(wù)器端匆瓜，收到來自于編碼端的數(shù)據(jù)之后，需要能夠以幀或者GOP為單位來管理和視頻未蝌。從而避免緩存了半幀數(shù)據(jù)驮吱，或者發(fā)送半幀數(shù)據(jù)這種事情。播放器端的優(yōu)化萧吠。
播放器端播放數(shù)據(jù)左冬，需要按照時(shí)間戳播放。避免在數(shù)據(jù)本身正常而因?yàn)椴シ哦鴮?dǎo)致的不均勻纸型。
播放器端拇砰，需要加入緩存，避免服務(wù)器端的數(shù)據(jù)不均勻或者偶然的網(wǎng)絡(luò)故障狰腌。
數(shù)據(jù)播放時(shí)除破，并不需要緩存區(qū)被填滿之后才開始進(jìn)行解碼播放。比如琼腔，我們有20秒的接收緩存瑰枫。那么我們可以這么做，當(dāng)緩沖區(qū)的數(shù)據(jù)丹莲，不足8秒鐘時(shí)光坝，我們就可以開始進(jìn)行播放剖毯，但播放時(shí)，我們進(jìn)行略微的減速播放（比如教馆，以時(shí)間戳的播放速率的0.9倍速度進(jìn)行播放）逊谋。如果緩沖區(qū)的數(shù)據(jù)超過了12秒鐘，那么我們可以加速播放（如正常速率的1.1倍速率）土铺。這樣的話胶滋，我們的緩存區(qū)的數(shù)據(jù)，基本會維持有10秒鐘左右的內(nèi)容悲敷。那么這樣的話究恤，我們在媒體數(shù)據(jù)中斷10秒鐘之后，依舊可以正常播放后德，只要媒體數(shù)據(jù)在10秒鐘之內(nèi)恢復(fù)部宿，那么我們依舊可以無縫切換到正常狀態(tài)。并且瓢湃，用戶開始播放時(shí)理张，我們不會因?yàn)榫彺娑泻艽蟮牡却龝r(shí)間，而是立即開始播放绵患。
如果收到數(shù)據(jù)的速度遠(yuǎn)超過播放速度雾叭，以至于緩沖區(qū)不夠時(shí)，丟幀策略和編碼發(fā)送端一致落蝙。
如果長時(shí)間沒有收到任何數(shù)據(jù)织狐，可以播放一些其它內(nèi)容告知用戶網(wǎng)絡(luò)故障。當(dāng)數(shù)據(jù)恢復(fù)時(shí)筏勒，需要從參考幀開始播放移迫，避免第一幀出現(xiàn)馬賽克。
直播系統(tǒng)的核心競爭力就是視頻的流暢性管行、清晰度厨埋、時(shí)延。而其中以流暢性至關(guān)重要病瞳，特別是在惡劣情況下的流暢性揽咕，更加重要。如何去保證視頻的流暢性套菜，以上幾點(diǎn)是否做到很關(guān)鍵亲善，而這些是否能夠方便可靠的實(shí)現(xiàn)，也是上傳下載協(xié)議選擇的重要參考標(biāo)準(zhǔn)逗柴。
