直播流媒體介紹

直播瑰钮，音樂播放demo
https://github.com/AndreHu88/iOS_Live
視頻流傳輸使用的是RTMP協(xié)議（類似于socket，基于TCP）
RTMP是Real Time Messaging Protocol（實(shí)時(shí)消息傳輸協(xié)議）的首字母縮寫幌绍。該協(xié)議基于TCP

流媒體開發(fā):網(wǎng)絡(luò)層(socket或st)負(fù)責(zé)傳輸尽超，協(xié)議層(rtmp或hls)負(fù)責(zé)網(wǎng)絡(luò)打包瞳氓，封裝層(flv限嫌、ts)負(fù)責(zé)編解碼數(shù)據(jù)的封裝，編碼層(h.264和aac)負(fù)責(zé)圖像褪贵，音頻壓縮掂之。
用于對象,視頻,音頻的傳輸.這個(gè)協(xié)議建立在TCP協(xié)議或者輪詢HTTP協(xié)議之上.

HLS:由Apple公司定義的用于實(shí)時(shí)流傳輸?shù)膮f(xié)議,HLS基于HTTP協(xié)議實(shí)現(xiàn)，傳輸內(nèi)容包括兩部分脆丁，一是M3U8描述文件世舰，二是TS媒體文件〔畚溃可實(shí)現(xiàn)流媒體的直播和點(diǎn)播跟压，主要應(yīng)用在iOS系統(tǒng)
HLS與RTMP對比:HLS主要是延時(shí)比較大，RTMP主要優(yōu)勢在于延時(shí)低

下圖是直播的完整圖解

image

播放網(wǎng)絡(luò)視頻需要以下幾步（依賴FFmpeg框架）

• 將數(shù)據(jù)解協(xié)議
• 解封裝
• 解碼音視頻
• 音視頻同步

播放本地視頻不需要解協(xié)議歼培，直接解封裝

• 解協(xié)議
  解協(xié)議就是將流媒體協(xié)議上的數(shù)據(jù)解析為相應(yīng)的封裝格式數(shù)據(jù)震蒋，流媒體一般是RTMP協(xié)議傳輸茸塞，這些協(xié)議在傳輸音視頻數(shù)據(jù)的同時(shí)也可以傳輸一些指令數(shù)據(jù)（播放，停止查剖，暫停钾虐，網(wǎng)絡(luò)狀態(tài)的描述） ，解協(xié)議會(huì)去掉信令數(shù)據(jù)笋庄，只保留音視頻數(shù)據(jù)禾唁。采用RTMP協(xié)議通過解協(xié)議后，輸入FLV的流

  FFMpeg會(huì)根據(jù)相關(guān)協(xié)議的特性无切，本機(jī)與服務(wù)器建立連接，獲取流數(shù)據(jù)

• 解封裝

  將封裝的視頻數(shù)據(jù)分離成音頻和視頻編碼數(shù)據(jù)丐枉，常見的封裝的格式有MP4哆键，MKV, RMVB, FLV, AVI等。它的作用就是將已壓縮的視頻數(shù)據(jù)和音頻數(shù)據(jù)按照一定的格式放在一起瘦锹。FLV格式經(jīng)過解封裝后籍嘹，可以得到H.264的視頻編碼數(shù)據(jù)和aac的音頻編碼數(shù)據(jù)，一般稱為“packet”

• 解碼音視頻

  解碼就是將音視頻壓縮編碼數(shù)據(jù)解碼成非壓縮的音視頻的原始數(shù)據(jù)弯院，解碼是最復(fù)雜最重要的一個(gè)環(huán)節(jié)辱士，通過解碼壓縮的視頻數(shù)據(jù)被輸出成非壓縮的顏色數(shù)據(jù)。目前常用的音頻編碼方式是aac,mp3,視頻編碼格式是H.264,H.265听绳。分析源數(shù)據(jù)的音視頻信息颂碘，分別設(shè)置對應(yīng)的音頻解碼器，視頻編碼器椅挣。對packet分別進(jìn)行解碼后头岔，音頻解碼獲得的數(shù)據(jù)是PCM（Pulse Code Modulation，脈沖編碼調(diào)制）采樣數(shù)據(jù)鼠证，一般稱為“sample”峡竣。視頻解碼獲得的數(shù)據(jù)是一幅YUV或RGB圖像數(shù)據(jù)，一般稱為“picture”

• 音視頻同步

  音視頻解碼是兩個(gè)獨(dú)立的線程量九，獲取到的音視頻是分開的适掰。理想情況下，音視頻按照自己的固有頻率渲染輸出能達(dá)到音視頻同步的效果荠列，但是在現(xiàn)實(shí)中类浪，斷網(wǎng)、弱網(wǎng)肌似、丟幀戚宦、緩沖、音視頻不同的解碼耗時(shí)等情況都會(huì)妨礙實(shí)現(xiàn)同步锈嫩，很難達(dá)到預(yù)期效果受楼。 通過音視頻同步調(diào)整后垦搬，將同步解碼出來的音頻，視頻數(shù)據(jù)艳汽，同步給顯卡和聲卡播放出來猴贰。

VideoToolbox.framework(硬編碼)

videoToolbox是蘋果的一個(gè)硬解碼的框架，提供實(shí)現(xiàn)壓縮河狐，解壓縮服務(wù)米绕，并存儲(chǔ)在緩沖區(qū)corevideo像素柵格圖像格式之中。這些服務(wù)以會(huì)話對象的形式提供（壓縮馋艺、解壓栅干，和像素傳輸），應(yīng)用程序不需要直接訪問硬件編碼器和解碼器相關(guān)內(nèi)容捐祠，硬件編解碼這塊的質(zhì)量有一定保證碱鳞，可以優(yōu)先使用硬編解碼，和軟解碼FFmpeg可以互補(bǔ)

編碼H.264

1.初始化VideoToolbox

- (void)setupVideoToolbox{
    
    dispatch_sync(_encodeQueue, ^{
        
        [self setupFileHandle];
        
        int width = 720, height = 1280;
        OSStatus status = VTCompressionSessionCreate(NULL, width, height, kCMVideoCodecType_H264, NULL, NULL, NULL, encodingComplectionCallback, (__bridge void *)(self), &_encodingSession);
        DLog(@"status code is %d",(int)status);
        if (status != 0) {
            DLog(@"create H264 session error");
            return ;
        }
        
        //設(shè)置實(shí)時(shí)編碼踱蛀，避免延遲
        VTSessionSetProperty(_encodingSession, kVTCompressionPropertyKey_RealTime, kCFBooleanTrue);
        VTSessionSetProperty(_encodingSession, kVTCompressionPropertyKey_ProfileLevel, kVTProfileLevel_H264_Baseline_AutoLevel);
        
        //設(shè)置關(guān)鍵幀間隔（）關(guān)鍵字間隔越小越清晰窿给，數(shù)值越大壓縮率越高
        int frameInterval = 1;
        CFNumberRef frameIntervalRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &frameInterval);
        VTSessionSetProperty(_encodingSession, kVTCompressionPropertyKey_MaxKeyFrameInterval, frameIntervalRef);
        
        //設(shè)置期望幀率
        int fps = 30;
        CFNumberRef fpsRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &fps);
        VTSessionSetProperty(_encodingSession, kVTCompressionPropertyKey_ExpectedFrameRate, fpsRef);
        
        //設(shè)置碼率，均值率拒，單位是byte
        int bitRate = width * height * 3 * 4 * 8;
        CFNumberRef bitRateRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRate);
        VTSessionSetProperty(_encodingSession, kVTCompressionPropertyKey_AverageBitRate, bitRateRef);
        
        //設(shè)置碼率上限崩泡，單位是bps,如果不設(shè)置默認(rèn)會(huì)以很低的碼率編碼，導(dǎo)致編碼出來的視頻很模糊
        int bitRateMax = width * height * 3 * 4;
        CFNumberRef bitRateMaxRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRateMax);
        VTSessionSetProperty(_encodingSession, kVTCompressionPropertyKey_DataRateLimits, bitRateMaxRef);
        
        //準(zhǔn)備編碼
        VTCompressionSessionPrepareToEncodeFrames(_encodingSession);
        
    });
}

- (void)setupFileHandle{
    
    //創(chuàng)建文件猬膨，初始化fileHandle;
    NSString *file = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) lastObject] stringByAppendingPathComponent:@"test.h264"];
    [[NSFileManager defaultManager] removeItemAtPath:file error:nil];
    [[NSFileManager defaultManager] createFileAtPath:file contents:nil attributes:nil];
    _fileHandle = [NSFileHandle fileHandleForWritingAtPath:file];
}

2.sampleBuffer回調(diào)處理

- (void)videoEncodeWithSampleBuffer:(CMSampleBufferRef)sampleBuffer{
    
    dispatch_sync(_encodeQueue, ^{
        
        // CVPixelBufferRef 編碼前圖像數(shù)據(jù)結(jié)構(gòu)
        // 利用給定的接口函數(shù)CMSampleBufferGetImageBuffer從中提取出CVPixelBufferRef
        CVImageBufferRef imageBuffer = (CVImageBufferRef)CMSampleBufferGetImageBuffer(sampleBuffer);
        // 幀時(shí)間 如果不設(shè)置導(dǎo)致時(shí)間軸過長
        CMTime presentationTimeStamp = CMTimeMake(_frameID++, 1000);
        //flags 0 表示同步解碼
        VTEncodeInfoFlags flags;
        OSStatus status = VTCompressionSessionEncodeFrame(_encodingSession, imageBuffer, presentationTimeStamp, kCMTimeInvalid, NULL, NULL, &flags);
        DLog(@"status code is %d",(int)status);
        if (status == noErr) {
            DLog(@"H264 VTCompressionSessionEncodeFrame success");
        }
        else{
            DLog(@"H264: VTCompressionSessionEncodeFrame failed with %d", (int)status);
            if (!_encodingSession) return;
            VTCompressionSessionInvalidate(_encodingSession);
            //釋放資源
            CFRelease(_encodingSession);
            _encodingSession = NULL;
        }
    });
    
}

3.對VideoToolbox的編碼回調(diào)

//每壓縮一次都異步的調(diào)用此方法
void encodingComplectionCallback(void * CM_NULLABLE outputCallbackRefCon,
                               void * CM_NULLABLE sourceFrameRefCon,
                               OSStatus status,
                               VTEncodeInfoFlags infoFlags,
                               CM_NULLABLE CMSampleBufferRef sampleBuffer ){

}

音視頻同步詳解

音視頻采集的數(shù)據(jù)分別來自于麥克風(fēng)與攝像頭角撞，而攝像頭與麥克風(fēng)其實(shí)是兩個(gè)獨(dú)立的硬件，而音視頻同步的原理是相信攝像頭與麥克風(fēng)采集數(shù)據(jù)是實(shí)時(shí)的勃痴，并在采集到數(shù)據(jù)時(shí)給他們一個(gè)時(shí)間戳來標(biāo)明數(shù)據(jù)所屬的時(shí)間靴寂，而編碼封裝模塊只要不改動(dòng)音視頻時(shí)間的相對關(guān)系就能保證音頻與視頻在時(shí)間上的對應(yīng)。如此封裝好數(shù)據(jù)之后召耘，播放端就能夠根據(jù)音視頻的時(shí)間戳來播放對應(yīng)的音視頻百炬，從實(shí)現(xiàn)音視頻同步的效果

時(shí)間戳參考標(biāo)準(zhǔn)

• 取格林威治時(shí)間做為對比標(biāo)準(zhǔn)，即音視頻時(shí)間戳都為采集時(shí)間點(diǎn)相對于格林威治標(biāo)準(zhǔn)時(shí)間的時(shí)間差
• 取系統(tǒng)開機(jī)時(shí)間做為對比標(biāo)準(zhǔn)污它，即音視頻時(shí)間戳都是采集時(shí)間點(diǎn)相對于手機(jī)開機(jī)時(shí)間的時(shí)間差剖踊。目前iOS上AVCaptureSession這套API就是參考這個(gè)時(shí)間標(biāo)準(zhǔn)給的時(shí)間戳
• 其它時(shí)間戳標(biāo)準(zhǔn)