音視頻編解碼處理流程,這個(gè)問題經(jīng)常是面試官拋磚引玉的問題.他們渴望能從這個(gè)流程中看到你的宏觀思考和微觀技術(shù)處理.
采集
編碼
解碼
渲染
一.解碼的思路:
解析數(shù)據(jù)(NALU Unit) I/P/B...
初始化解碼器
將解析后的H264 NALU Unit 輸入解碼器
解碼完成回調(diào),輸出解碼數(shù)據(jù)
解碼數(shù)據(jù)顯示(OpenGL ES)
二.解碼三個(gè)核心函數(shù):
創(chuàng)建session, VTDecompressionSessionCreate
解碼一個(gè)frame, VTDecompressionSessionDecodeFrame
銷毀解碼session,VTDecompressionSessionInvalidate
三.原理分析:
H264原始碼流-->NALU.
I幀: 保留了一張完整視頻幀. 解碼關(guān)鍵!
P幀: 先前參考幀.差異數(shù)據(jù).解碼需要依賴于I幀
B幀: 雙向參考幀,解碼時(shí)既需要I幀,也需要P幀!
如果H264碼流中I幀錯(cuò)誤/丟失,就會(huì)導(dǎo)致錯(cuò)誤傳遞,P/B幀單獨(dú)是完成不了解碼工作! 花屏的現(xiàn)象產(chǎn)生. VideoToolBox硬編碼編碼H264幀.I幀! 手動(dòng)加入SPS/PPS. 解碼時(shí): 需要使用SPS/PPS數(shù)據(jù)來對解碼器進(jìn)行初始化!
四. 解碼思路:
解析數(shù)據(jù)
既然NALU,一個(gè)接一個(gè).實(shí)時(shí)解碼! 首先,你要對數(shù)據(jù)解析! 分析NALU數(shù)據(jù).前面4個(gè)字節(jié)是起始位!標(biāo)識一個(gè)NALU的開始! 從第5位才開始來獲取!從第五位才是NALU數(shù)據(jù)類型.
要獲取到第5位數(shù)據(jù),轉(zhuǎn)化十進(jìn)制,然后根據(jù)表格判斷它數(shù)據(jù)類型!
判斷好數(shù)據(jù)類型,才能將NALU送入解碼器.SPS/PPS獲取就可以,是不需求解碼的!
CVPixelBufferRef 保存是解碼后的數(shù)據(jù)或者未編碼前的數(shù)據(jù)
解碼數(shù)據(jù)
解碼成功后將數(shù)據(jù)通過OpenGL ES渲染到屏幕上!
