H.264組成

• 1糠悼、網(wǎng)絡(luò)提取層 (Network Abstraction Layer形真，NAL)
• 2抡砂、視訊編碼層 (Video Coding Layer，VCL)
• a.H.264/AVC影像格式階層架構(gòu)
• b.Slice的編碼模式
  (1) I -slice: slice的全部MB都采用intra-prediction的方式來編碼窒篱；
  (2) P-slice: slice中的MB使用intra-prediction和inter-prediction的方式來編碼焕刮，但每一個(gè)inter-prediction block最多只能使用一個(gè)移動(dòng)向量；
  (3) B-slice:與P-slice類似墙杯，但每一個(gè)inter-prediction block可以使用二個(gè)移動(dòng)向量配并。B-slice的‘B’是指Bi-predictive（雙向預(yù)測），除了可由前一張和后一張影像的I(或P高镐、B)-slice外溉旋，也能從前二張不同影像的I(或P、B)-slice來做inter- prediction避消。
  (4) SP-slice:即所謂的Switching P slice低滩，為P-slice的一種特殊類型召夹，用來串接兩個(gè)不同bitrate的bitstream岩喷；
  (5) SI-slice: 即所謂的Switching I slice恕沫，為I-slice的一種特殊類型，除了用來串接兩個(gè)不同content的bitstream外纱意，也可用來執(zhí)行隨機(jī)存取(random access)來達(dá)到網(wǎng)絡(luò)VCR的功能
• c婶溯、畫面內(nèi)預(yù)測技術(shù)(Intra-frame Prediction)
• d、畫面間預(yù)測技術(shù)(Inter-frame Prediction)

H.264介紹

碼流結(jié)構(gòu)

H.264的功能分為兩層偷霉，視頻編碼層（VCL）和網(wǎng)絡(luò)提取層（NAL）VCL數(shù)據(jù)即被壓縮編碼后的視頻數(shù)據(jù)序列迄委。在VCL數(shù)據(jù)要封裝到NAL單元中之后，才可以用來傳輸或存儲(chǔ)类少。

NALU （Network Abstraction Layer Unit ）

• SPS：序列參數(shù)集叙身，作用于一系列連續(xù)的編碼圖像；
• PSS：圖像參數(shù)集硫狞，作用于編碼視頻序列中一個(gè)或多個(gè)獨(dú)立的圖像信轿；

參數(shù)集是一個(gè)獨(dú)立的數(shù)據(jù)單位，不依賴于參數(shù)集外的其他句法元素残吩。一個(gè)參數(shù)集不對應(yīng)某一個(gè)特定的圖像或序列报亩，同一序列參數(shù)集可以被多個(gè)圖像參數(shù)集引用婴噩，同理，同一個(gè)圖像參數(shù)集也可以被多個(gè)圖像引用。只在編碼器認(rèn)為需要更新參數(shù)集的內(nèi)容時(shí)苗分，才會(huì)發(fā)出新的參數(shù)集。

NALU根據(jù)nal_unit_type的類型撼玄，可以分為：VCL的NAL單元和非VCL的NAL單元仔涩，詳情如下：

官方文檔

碼流結(jié)構(gòu)

iOS與H.264

1、視頻相關(guān)的框架

由上到下：

• AVKit
• AVFoundation
• Video Toolbox
• Core Media
• Core Video

其中的AVKit和AVFoudation蛹锰、VideoToolbox都是使用硬編碼和硬解碼深胳。

2、相關(guān)類介紹

• CVPixelBuffer： 包含未壓縮的像素?cái)?shù)據(jù)宁仔，包括圖像寬度稠屠、高度等；
• CVPixelBufferPool： CVPixelBuffer的緩沖池翎苫，因?yàn)镃VPixelBuffer的創(chuàng)建和銷毀代價(jià)很大权埠；
• pixelBufferAttributes： CFDictionary包括寬高、像素格式（RGBA煎谍、YUV）攘蔽、使用場景（OpenGL ES、Core Animation）
• CMTime： 64位的value呐粘，32位的scale满俗，media的時(shí)間格式转捕；
• CMVideoFormatDescription： video的格式，包括寬高唆垃、顏色空間五芝、編碼格式等；對于H.264的視頻辕万，PPS和SPS的數(shù)據(jù)也在這里枢步；
• CMBlockBuffer：未壓縮的圖像數(shù)據(jù)；
• CMSampleBuffer： 存放一個(gè)或者多個(gè)壓縮或未壓縮的媒體文件渐尿；
• CMClock：時(shí)間源

A timing source object.

• CMTimebase：時(shí)間控制器醉途，可以設(shè)置rate和time；

A timebase represents a timeline that clients can control by setting the rate and time. Each timebase has either a master clock or a master timebase. The rate of the timebase is expressed relative to its master.

CMSampleBuffer的結(jié)構(gòu)：

可以包含已壓縮數(shù)據(jù)（CMBlockBuffer）或未壓縮數(shù)據(jù)（CVPixelBuffer）及相關(guān)描述信息

3砖茸、AVKit

使用AVSampleBufferDisplayLayer顯示H.264碼流

• 初始化

self.videoLayer = [[AVSampleBufferDisplayLayer alloc] init];
self.videoLayer.bounds = self.bounds;
self.videoLayer.position = CGPointMake(CGRectGetMidX(self.bounds), CGRectGetMidY(self.bounds));
self.videoLayer.videoGravity = AVLayerVideoGravityResizeAspect;
self.videoLayer.backgroundColor = [[UIColor greenColor] CGColor];
//set Timebase
CMTimebaseRef controlTimebase;
CMTimebaseCreateWithMasterClock( CFAllocatorGetDefault(), CMClockGetHostTimeClock(), &controlTimebase );
self.videoLayer.controlTimebase = controlTimebase;
CMTimebaseSetTime(self.videoLayer.controlTimebase, CMTimeMake(5, 1));
CMTimebaseSetRate(self.videoLayer.controlTimebase, 1.0);
// connecting the videolayer with the view
[[self layer] addSublayer:_videoLayer];

• 傳入SampleBuffer

__block AVAssetReaderTrackOutput *outVideo = [AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:video outputSettings:dic];
if( [assetReaderVideo startReading] )
{
    [_videoLayer requestMediaDataWhenReadyOnQueue: assetQueue usingBlock: ^{
        while( [_videoLayer isReadyForMoreMediaData] )
        {
            CMSampleBufferRef *sampleVideo = [outVideo copyNextSampleBuffer];
            [_videoLayer enqueueSampleBuffer:sampleVideo.data];
        }
    }];
}

4隘擎、MPEG-4封裝的H.264碼流格式

H.264的原始碼流 與 MPEG-4封裝的H.264碼流格式不同在于：

• SPS和PPS被統(tǒng)一
  需要用CMVideoFormatDescriptionCreateFromH264ParameterSets方法 ，統(tǒng)一PPS和SPS
  

• 頭字節(jié)表示幀的長度
  （原來的為00 00 01 或者 00 00 00 01）

  
  

當(dāng)我們需要原始H.264碼流包裝成CMSampleBuffer時(shí)凉夯，我們可以按照以下步驟：
1货葬、替換頭字節(jié)長度；
2恍涂、用CMBlockBuffer把NALUnit包裝起來宝惰；
3、把SPS和PPS包裝成CMVideoFormatDescription再沧；
4尼夺、添加CMTime時(shí)間；
5炒瘸、創(chuàng)建CMSampleBuffer淤堵；

根據(jù)H.264原始碼流創(chuàng)建CMSampleBuffer

當(dāng)我們需要更新SPS和PPS的時(shí)候，調(diào)用
VTDecompressionSessionCanAcceptFormatDescription判斷是否能接受新的SPS和PPS顷扩；
如果不能接受拐邪，那么需要新建session來處理frame，注意銷毀原來的session隘截；

更新SPS和PPS

5扎阶、采集攝像頭數(shù)據(jù)

從攝像頭采集數(shù)據(jù)，并用AVAssetWriter寫入movieFile

攝像頭采集并寫入movieFile

從攝像頭采集數(shù)據(jù)婶芭，并VideoToolbox硬編碼东臀，獲取壓縮后的碼流

• 按照顯示順序來，添加顯示時(shí)間犀农；
• 時(shí)間只能加不能減惰赋，不能重復(fù)；
• 異步的請求呵哨；（H.264的幀間預(yù)測）
• 沒有幀之后需要調(diào)用complete赁濒；

壓縮后的碼流是MPEG-4封裝格式下的碼流轨奄，要轉(zhuǎn)換成原始碼流的格式。
調(diào)用CMVideoFormatDescriptionGetH264ParameterSetAtIndex
獲取視頻的PPS和SPS

攝像頭采集并生成H.264碼流

6拒炎、Single-Pass和Multi-Pass編碼

• Single-Pass編碼

  
  

• Multi-Pass編碼

  
  

AVAssetExportSession 優(yōu)先采用多通道編碼挪拟，不行再使用單通道編碼；
Multi-passes的介紹

其他零碎的知識

視頻碼率是視頻數(shù)據(jù)（視頻色彩量枝冀、亮度量舞丛、像素量）每秒輸出的位數(shù)耘子。一般用的單位是kbps果漾。
由于不同的系統(tǒng)會(huì)有不同的模式，為了統(tǒng)一谷誓，規(guī)定在網(wǎng)絡(luò)傳輸中使用大端模式绒障，這就是網(wǎng)絡(luò)字節(jié)序。
RTP協(xié)議：實(shí)時(shí)傳送協(xié)議（Real-time Transport Protocol或簡寫RTP捍歪，也可以寫成RTTP）是一個(gè)網(wǎng)絡(luò)傳輸協(xié)議户辱。RTP協(xié)議詳細(xì)說明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標(biāo)準(zhǔn)數(shù)據(jù)包格式。
RTCP協(xié)議：實(shí)時(shí)傳輸控制協(xié)議（Real-time Transport Control Protocol或RTP Control Protocol或簡寫RTCP）是實(shí)時(shí)傳輸協(xié)議（RTP）的一個(gè)姐妹協(xié)議糙臼。
RTSP協(xié)議：RTSP（Real Time Streaming Protocol）是用來控制聲音或影像的多媒體串流協(xié)議庐镐。

RTSP發(fā)起/終結(jié)流媒體、RTP傳輸流媒體數(shù)據(jù) 变逃、RTCP對RTP進(jìn)行控制必逆，同步。

RTMP協(xié)議：RTMP（the Real-time Messaging Protocol）協(xié)議作為客戶端和服務(wù)器端的傳輸協(xié)議揽乱，這是一個(gè)專門為高效傳輸視頻名眉、音頻和數(shù)據(jù)而設(shè)計(jì)的 TCP/IP 協(xié)議。
HLS協(xié)議： HTTP Live Streaming（HLS）是蘋果公司(Apple Inc.)實(shí)現(xiàn)的基于HTTP的流媒體傳輸協(xié)議凰棉。

RTP封包H.264碼流
各種協(xié)議

總結(jié)

如果想更深入學(xué)習(xí)损拢，可以看H.264標(biāo)準(zhǔn)中文版的文檔。