音視頻學(xué)習(xí)從零到整(1)
音視頻學(xué)習(xí)從零到整(2)
音視頻學(xué)習(xí)從零到整(3)
一..了解VideoToolBox 硬編碼
在iOS4.0,蘋果就已經(jīng)支持硬編碼.但是硬編碼在當(dāng)時(shí)屬于私有API. 不提供給開(kāi)發(fā)者使用
在2014年的WWDC大會(huì)上,iOS 8.0 之后,蘋果開(kāi)放了硬解碼和硬解碼的API止潘。就是VideoToolbox.framework的API。VideoToolbox 是一套純C語(yǔ)言API。其中包含了很多C語(yǔ)言函數(shù)
VideoToolBox實(shí)際上屬于低級(jí)框架,它是可以直接訪問(wèn)硬件編碼器和解碼器.它存在于視頻壓縮和解壓縮以及存儲(chǔ)在像素緩存區(qū)中的數(shù)據(jù)轉(zhuǎn)換提供服務(wù).
硬編碼的優(yōu)點(diǎn)：提高性能琳袄、增加效率任连、延長(zhǎng)電量的使用
這個(gè)框架在音視頻項(xiàng)目開(kāi)發(fā)中,也是會(huì)要頻繁使用的.如果大家有想法去從事音視頻的開(kāi)發(fā).那么這個(gè)框架將會(huì)是你學(xué)習(xí)的一個(gè)重點(diǎn).
二.了解視頻
作為開(kāi)發(fā)者和產(chǎn)品測(cè)試之間的斡旋.是不可避免的.這是咱們?cè)谧鲩_(kāi)發(fā)過(guò)程中,但還是 要去思考.到底是需求不合理還是我們對(duì)這個(gè)需求的沒(méi)有把握.
在前面我說(shuō)過(guò),5G時(shí)代的到來(lái),勢(shì)必會(huì)對(duì)移動(dòng)互聯(lián)網(wǎng)的沖擊將會(huì)是最刺激的.為何?一旦網(wǎng)絡(luò)速度+設(shè)備的運(yùn)行速度不受限制時(shí),設(shè)想移動(dòng)設(shè)備的暫時(shí)不可替代性是不是又更加的明顯了.至少在目前為止,沒(méi)有一款硬件可以替代手機(jī)設(shè)備在用戶的地位.
那我們來(lái)了解一下視頻的常規(guī)知識(shí).只有在了解視頻的本質(zhì),你才有可能面對(duì)需求應(yīng)對(duì)自如.
2.1 視頻的構(gòu)成:
- 圖像
- 音頻
- 元信息
圖像: 視頻內(nèi)容本身就是一幀一幀的圖片構(gòu)成.人眼只要1秒鐘連續(xù)播放16張以上的圖片,就會(huì)認(rèn)為這是一段連貫的視頻.這種物理現(xiàn)象叫視覺(jué)暫留.
音頻: 視頻一定是由音頻+圖像內(nèi)容構(gòu)成的.所以音頻在視頻中是單獨(dú)的一個(gè)部分.針對(duì)這一塊我們需要單獨(dú)編碼的.
元信息:元信息其實(shí)就是描述信息的信息.用于描述信息的結(jié)構(gòu)\語(yǔ)義\用途\用法等.比如視頻元信息就包含了視頻的具體信息,比如編碼格式,分辨率等等.
2.2 視頻中的編碼格式
-
視頻編碼格式
- H264編碼的優(yōu)勢(shì):
- 低碼率
- 高質(zhì)量的圖像
- 容錯(cuò)能力強(qiáng)
- 網(wǎng)絡(luò)適應(yīng)性強(qiáng)
- 總結(jié): H264最大的優(yōu)勢(shì),具有很高的數(shù)據(jù)壓縮比率,在同等圖像質(zhì)量下,H264的壓縮比是MPEG-2的2倍以上,MPEG-4的1.5~2倍.
- 舉例: 原始文件的大小如果為88GB，采用MPEG-2壓縮標(biāo)準(zhǔn)壓縮后變成3.5GB，壓縮比為25∶1厦画，而采用H.264壓縮標(biāo)準(zhǔn)壓縮后變?yōu)?79MB牍陌，從88GB到879MB擎浴，H.264的壓縮比達(dá)到驚人的102∶1
- H264編碼的優(yōu)勢(shì):
-
音頻編碼格式:
-
AAC是目前比較熱門的有損壓縮編碼技術(shù),并且衍生了LC-AAC,HE-AAC,HE-AAC v2 三種主要編碼格式.
- LC-AAC 是比較傳統(tǒng)的AAC,主要應(yīng)用于中高碼率的場(chǎng)景編碼(>= 80Kbit/s)
- HE-AAC 主要應(yīng)用于低碼率場(chǎng)景的編碼(<= 48Kbit/s)
優(yōu)勢(shì):在小于128Kbit/s的碼率下表現(xiàn)優(yōu)異,并且多用于視頻中的音頻編碼
適合場(chǎng)景:于128Kbit/s以下的音頻編碼,多用于視頻中的音頻軌的編碼
-
2.3 容器(視頻封裝格式)
封裝格式:就是將已經(jīng)編碼壓縮好的視頻數(shù)據(jù) 和音頻數(shù)據(jù)按照一定的格式放到一個(gè)文件中.這個(gè)文件可以稱為容器. 當(dāng)然可以理解為這只是一個(gè)外殼.
通常我們不僅僅只存放音頻數(shù)據(jù)和視頻數(shù)據(jù),還會(huì)存放 一下視頻同步的元數(shù)據(jù).例如字幕.這多種數(shù)據(jù)會(huì)不同的程序來(lái)處理,但是它們?cè)趥鬏敽痛鎯?chǔ)的時(shí)候,這多種數(shù)據(jù)都是被綁定在一起的.
-
常見(jiàn)的視頻容器格式:
-
AVI: 是當(dāng)時(shí)為對(duì)抗quicktime格式（mov）而推出的，只能支持固定CBR恒定定比特率編碼的聲音文件 -
MOV:是Quicktime封裝 -
WMV:微軟推出的毒涧，作為市場(chǎng)競(jìng)爭(zhēng) -
mkv：萬(wàn)能封裝器贮预，有良好的兼容和跨平臺(tái)性、糾錯(cuò)性契讲，可帶外掛字幕 -
flv: 這種封裝方式可以很好的保護(hù)原始地址仿吞，不容易被下載到，目前一些視頻分享網(wǎng)站都采用這種封裝方式 -
MP4：主要應(yīng)用于mpeg4的封裝捡偏，主要在手機(jī)上使用唤冈。
-
三.視頻壓縮的可能性
視頻壓縮,該從那幾個(gè)方向去進(jìn)行數(shù)據(jù)的壓縮了? 實(shí)際上壓縮的本質(zhì)都是從冗余信息開(kāi)始出發(fā)壓縮的. 而視頻數(shù)據(jù)之間是有極強(qiáng)的相關(guān)性.也就是這樣會(huì)產(chǎn)生大量的冗余信息.這樣的冗余包括空間上的冗余信息和時(shí)間上的冗余信息.
-
使用幀間編碼技術(shù)可以去除時(shí)間上的冗余信息,具體包括如下
- 運(yùn)動(dòng)補(bǔ)償: 運(yùn)動(dòng)補(bǔ)償是通過(guò)先前的局部圖形來(lái)預(yù)測(cè),補(bǔ)償當(dāng)前的局部圖像.它是減少幀序列冗余信息很有效的方法.
- 運(yùn)動(dòng)表示: 不同區(qū)域的圖像需要使用不同的運(yùn)動(dòng)矢量來(lái)描述運(yùn)動(dòng)信息
- 運(yùn)動(dòng)估計(jì): 運(yùn)動(dòng)估計(jì)就是從視頻序列中抽取運(yùn)動(dòng)信息的一整套技術(shù).
3.1 編碼概念
IPB幀
視頻壓縮中,每幀代表著一副靜止的圖像.而進(jìn)行實(shí)際壓縮時(shí),會(huì)采用各種算法以減少數(shù)據(jù)的容量.其實(shí)IPB幀是最常用的一種方式:
- I幀: 幀內(nèi)編碼幀(intra picture),I幀通常是每個(gè)GOP(MPEG所使用的一種視頻壓縮技術(shù))的第一幀.經(jīng)過(guò)適度的壓縮.作為隨機(jī)訪問(wèn)的參考點(diǎn),可以當(dāng)做靜態(tài)圖像.I幀可以看做一個(gè)圖像經(jīng)過(guò)壓縮后的產(chǎn)物.I幀壓縮可以得到6:1的壓縮比而不會(huì)產(chǎn)生任何可察覺(jué)的模糊現(xiàn)象.I幀壓縮去除了視頻空間的冗余信息.
- P幀: 前后預(yù)測(cè)編碼幀(predictive-frame),通過(guò)將圖像序列中前面已編碼幀的時(shí)間冗余信息充分去除來(lái)壓縮傳輸數(shù)據(jù)量的編碼圖像.
- B幀: 雙向預(yù)測(cè)編碼幀(bi-directional interpolated prediction frame),既要考慮源圖像序列前面已編碼幀,又要顧及源圖像序列后面的已編碼幀之間的時(shí)間冗余信息,來(lái)壓縮傳輸數(shù)據(jù)量的編碼圖像.
讀者角度解讀
如果從編碼的角度,獲取我們順序思考會(huì)存在難度.但如果我們從解碼的角度來(lái)思考就顯得不是那么不可理解了.
- I幀,自身可以通過(guò)視頻解碼算法解壓成一張單獨(dú)的完整的視頻畫(huà)面.所以I幀去掉的是視頻幀在空間維度上的冗余信息.
- P幀,需要參考前面的一個(gè)I幀或P幀解碼成一個(gè)完整的視頻畫(huà)面
- B幀,需要參考前面的一個(gè)I幀或者P幀以及后面的一個(gè)P幀來(lái)生成一個(gè)完整的視頻畫(huà)面.
- 所以,P和B幀去掉的視頻幀在時(shí)間上維度上的冗余信息.
3.2 解碼中PTS 與 DTS
DTS(Decoding Time Stamp),主要用于視頻的解碼;
PTS(Presentation Time Stamp),主要用于解碼節(jié)點(diǎn)進(jìn)行視頻的同步和輸出.
在沒(méi)有B幀的情況下,DTS和PST的輸出順序是一樣的.因?yàn)锽幀會(huì)打亂了解碼和顯示順序.所以一旦存在B幀,PTS和DTS勢(shì)必會(huì)不同.實(shí)際上在大多數(shù)編解碼標(biāo)準(zhǔn)中,編碼順序和輸入順序并不一致.于是需要PTS和DST這2種不同的時(shí)間戳.
3.3 GOP概念
兩個(gè)I幀之間形成的一組圖片,就是GOP(Group of Picture).
通常在編碼器設(shè)置參數(shù)時(shí),必須會(huì)設(shè)置gop_size的值.其實(shí)就是代表2個(gè)I幀之間的幀數(shù)目. 在一個(gè)GOP組中容量最大的就是I幀.所以相對(duì)而言,gop_size設(shè)置的越大,整個(gè)視頻畫(huà)面質(zhì)量就會(huì)越好.但是解碼端必須從接收的第一個(gè)I幀開(kāi)始才可以正確解碼出原始圖像.否則無(wú)法正確解碼.
