音視頻學(xué)習(xí)從零到整--(1)
音視頻學(xué)習(xí)從零到整--(2)
音視頻學(xué)習(xí)從零到整--(3)
音視頻學(xué)習(xí)從零到整--(5)
音視頻學(xué)習(xí)從零到整--(6)
音視頻學(xué)習(xí)從零到整--(7)
音視頻學(xué)習(xí)從零到整--(8)
音視頻學(xué)習(xí)從零到整--(9)
音視頻學(xué)習(xí)從零到整--(10)
一..了解VideoToolBox 硬編碼
在iOS4.0,蘋果就已經(jīng)支持硬編碼.但是硬編碼在當(dāng)時屬于私有API. 不提供給開發(fā)者使用
在2014年的WWDC大會上,iOS 8.0 之后,蘋果開放了硬解碼和硬解碼的API霹抛。就是VideoToolbox.framework的API公黑。VideoToolbox 是一套純C語言API拒垃。其中包含了很多C語言函數(shù)
VideoToolBox實際上屬于低級框架,它是可以直接訪問硬件編碼器和解碼器.它存在于視頻壓縮和解壓縮以及存儲在像素緩存區(qū)中的數(shù)據(jù)轉(zhuǎn)換提供服務(wù).
硬編碼的優(yōu)點：提高性能、增加效率宾茂、延長電量的使用
這個框架在音視頻項目開發(fā)中,也是會要頻繁使用的.如果大家有想法去從事音視頻的開發(fā).那么這個框架將會是你學(xué)習(xí)的一個重點.
二.了解視頻
作為開發(fā)者和產(chǎn)品測試之間的斡旋.是不可避免的.這是咱們在做開發(fā)過程中,但還是 要去思考.到底是需求不合理還是我們對這個需求的沒有把握.
在前面我說過,5G時代的到來,勢必會對移動互聯(lián)網(wǎng)的沖擊將會是最刺激的.為何?一旦網(wǎng)絡(luò)速度+設(shè)備的運行速度不受限制時,設(shè)想移動設(shè)備的暫時不可替代性是不是又更加的明顯了.至少在目前為止,沒有一款硬件可以替代手機設(shè)備在用戶的地位.
那我們來了解一下視頻的常規(guī)知識.只有在了解視頻的本質(zhì),你才有可能面對需求應(yīng)對自如.
2.1 視頻的構(gòu)成:
- 圖像
- 音頻
- 元信息
圖像: 視頻內(nèi)容本身就是一幀一幀的圖片構(gòu)成.人眼只要1秒鐘連續(xù)播放16張以上的圖片,就會認為這是一段連貫的視頻.這種物理現(xiàn)象叫視覺暫留.
音頻: 視頻一定是由音頻+圖像內(nèi)容構(gòu)成的.所以音頻在視頻中是單獨的一個部分.針對這一塊我們需要單獨編碼的.
元信息:元信息其實就是描述信息的信息.用于描述信息的結(jié)構(gòu)\語義\用途\用法等.比如視頻元信息就包含了視頻的具體信息,比如編碼格式,分辨率等等.
2.2 視頻中的編碼格式
-
視頻編碼格式
- H264編碼的優(yōu)勢:
- 低碼率
- 高質(zhì)量的圖像
- 容錯能力強
- 網(wǎng)絡(luò)適應(yīng)性強
- 總結(jié): H264最大的優(yōu)勢,具有很高的數(shù)據(jù)壓縮比率,在同等圖像質(zhì)量下,H264的壓縮比是MPEG-2的2倍以上,MPEG-4的1.5~2倍.
- 舉例: 原始文件的大小如果為88GB，采用MPEG-2壓縮標準壓縮后變成3.5GB薄货，壓縮比為25∶1劝贸，而采用H.264壓縮標準壓縮后變?yōu)?79MB潮罪，從88GB到879MB康谆，H.264的壓縮比達到驚人的102∶1
- H264編碼的優(yōu)勢:
-
音頻編碼格式:
-
AAC是目前比較熱門的有損壓縮編碼技術(shù),并且衍生了LC-AAC,HE-AAC,HE-AAC v2 三種主要編碼格式.
- LC-AAC 是比較傳統(tǒng)的AAC,主要應(yīng)用于中高碼率的場景編碼(>= 80Kbit/s)
- HE-AAC 主要應(yīng)用于低碼率場景的編碼(<= 48Kbit/s)
優(yōu)勢:在小于128Kbit/s的碼率下表現(xiàn)優(yōu)異,并且多用于視頻中的音頻編碼
適合場景:于128Kbit/s以下的音頻編碼,多用于視頻中的音頻軌的編碼
-
2.3 容器(視頻封裝格式)
封裝格式:就是將已經(jīng)編碼壓縮好的視頻數(shù)據(jù) 和音頻數(shù)據(jù)按照一定的格式放到一個文件中.這個文件可以稱為容器. 當(dāng)然可以理解為這只是一個外殼.
通常我們不僅僅只存放音頻數(shù)據(jù)和視頻數(shù)據(jù),還會存放 一下視頻同步的元數(shù)據(jù).例如字幕.這多種數(shù)據(jù)會不同的程序來處理,但是它們在傳輸和存儲的時候,這多種數(shù)據(jù)都是被綁定在一起的.
-
常見的視頻容器格式:
-
AVI: 是當(dāng)時為對抗quicktime格式（mov）而推出的，只能支持固定CBR恒定定比特率編碼的聲音文件 -
MOV:是Quicktime封裝 -
WMV:微軟推出的嫉到，作為市場競爭 -
mkv：萬能封裝器沃暗，有良好的兼容和跨平臺性、糾錯性何恶，可帶外掛字幕 -
flv: 這種封裝方式可以很好的保護原始地址孽锥，不容易被下載到，目前一些視頻分享網(wǎng)站都采用這種封裝方式 -
MP4：主要應(yīng)用于mpeg4的封裝，主要在手機上使用惜辑。
-
三.視頻壓縮的可能性
視頻壓縮,該從那幾個方向去進行數(shù)據(jù)的壓縮了? 實際上壓縮的本質(zhì)都是從冗余信息開始出發(fā)壓縮的. 而視頻數(shù)據(jù)之間是有極強的相關(guān)性.也就是這樣會產(chǎn)生大量的冗余信息.這樣的冗余包括空間上的冗余信息和時間上的冗余信息.
-
使用幀間編碼技術(shù)可以去除時間上的冗余信息,具體包括如下
- 運動補償: 運動補償是通過先前的局部圖形來預(yù)測,補償當(dāng)前的局部圖像.它是減少幀序列冗余信息很有效的方法.
- 運動表示: 不同區(qū)域的圖像需要使用不同的運動矢量來描述運動信息
- 運動估計: 運動估計就是從視頻序列中抽取運動信息的一整套技術(shù).
3.1 編碼概念
IPB幀
視頻壓縮中,每幀代表著一副靜止的圖像.而進行實際壓縮時,會采用各種算法以減少數(shù)據(jù)的容量.其實IPB幀是最常用的一種方式:
- I幀: 幀內(nèi)編碼幀(intra picture),I幀通常是每個GOP(MPEG所使用的一種視頻壓縮技術(shù))的第一幀.經(jīng)過適度的壓縮.作為隨機訪問的參考點,可以當(dāng)做靜態(tài)圖像.I幀可以看做一個圖像經(jīng)過壓縮后的產(chǎn)物.I幀壓縮可以得到6:1的壓縮比而不會產(chǎn)生任何可察覺的模糊現(xiàn)象.I幀壓縮去除了視頻空間的冗余信息.
- P幀: 前后預(yù)測編碼幀(predictive-frame),通過將圖像序列中前面已編碼幀的時間冗余信息充分去除來壓縮傳輸數(shù)據(jù)量的編碼圖像.
- B幀: 雙向預(yù)測編碼幀(bi-directional interpolated prediction frame),既要考慮源圖像序列前面已編碼幀,又要顧及源圖像序列后面的已編碼幀之間的時間冗余信息,來壓縮傳輸數(shù)據(jù)量的編碼圖像.
讀者角度解讀
如果從編碼的角度,獲取我們順序思考會存在難度.但如果我們從解碼的角度來思考就顯得不是那么不可理解了.
- I幀,自身可以通過視頻解碼算法解壓成一張單獨的完整的視頻畫面.所以I幀去掉的是視頻幀在空間維度上的冗余信息.
- P幀,需要參考前面的一個I幀或P幀解碼成一個完整的視頻畫面
- B幀,需要參考前面的一個I幀或者P幀以及后面的一個P幀來生成一個完整的視頻畫面.
- 所以,P和B幀去掉的視頻幀在時間上維度上的冗余信息.
3.2 解碼中PTS 與 DTS
DTS(Decoding Time Stamp),主要用于視頻的解碼;
PTS(Presentation Time Stamp),主要用于解碼節(jié)點進行視頻的同步和輸出.
在沒有B幀的情況下,DTS和PST的輸出順序是一樣的.因為B幀會打亂了解碼和顯示順序.所以一旦存在B幀,PTS和DTS勢必會不同.實際上在大多數(shù)編解碼標準中,編碼順序和輸入順序并不一致.于是需要PTS和DST這2種不同的時間戳.
3.3 GOP概念
兩個I幀之間形成的一組圖片,就是GOP(Group of Picture).
通常在編碼器設(shè)置參數(shù)時,必須會設(shè)置gop_size的值.其實就是代表2個I幀之間的幀數(shù)目. 在一個GOP組中容量最大的就是I幀.所以相對而言,gop_size設(shè)置的越大,整個視頻畫面質(zhì)量就會越好.但是解碼端必須從接收的第一個I幀開始才可以正確解碼出原始圖像.否則無法正確解碼.
推薦文集
* 抖音效果實現(xiàn)
* BAT—最新iOS面試題總結(jié)
* iOS面試題合集
原文作者：集才華美貌于一身的—C姐
