1 . 音視頻處理的一般流程：

數(shù)據(jù)采集→數(shù)據(jù)編碼→數(shù)據(jù)傳輸(流媒體服務(wù)器) →解碼數(shù)據(jù)→播放顯示

1恩脂、數(shù)據(jù)采集：

攝像機(jī)及拾音器收集視頻及音頻數(shù)據(jù)碰凶，此時(shí)得到的為原始數(shù)據(jù)

涉及技術(shù)或協(xié)議：

攝像機(jī)：CCD边翼、CMOS

拾音器：聲電轉(zhuǎn)換裝置（咪頭）肃弟、音頻放大電路

2姿锭、數(shù)據(jù)編碼：

使用相關(guān)硬件或軟件對音視頻原始數(shù)據(jù)進(jìn)行編碼處理（數(shù)字化）及加工（如音視頻混合梅桩、打包封裝等）壹粟，得到可用的音視頻數(shù)據(jù)

涉及技術(shù)或協(xié)議：

編碼方式：CBR、VBR

編碼格式

視頻：H.265宿百、H.264趁仙、MPEG-4等，封裝容器有TS垦页、MKV雀费、AVI、MP4等

音頻：G.711μ痊焊、AAC盏袄、Opus等，封裝有MP3薄啥、OGG辕羽、AAC等

3、數(shù)據(jù)傳輸：

將編碼完成后的音視頻數(shù)據(jù)進(jìn)行傳輸垄惧，早期的音視頻通過同軸電纜之類的線纜進(jìn)行傳輸刁愿，IP網(wǎng)絡(luò)發(fā)展后，使用IP網(wǎng)絡(luò)優(yōu)傳輸

涉及技術(shù)或協(xié)議：

傳輸協(xié)議：RTP與RTCP到逊、RTSP铣口、RTMP滤钱、HTTP、HLS（HTTP Live Streaming）等

控制信令：SIP和SDP脑题、SNMP等

4件缸、解碼數(shù)據(jù)：

使用相關(guān)硬件或軟件對接收到的編碼后的音視頻數(shù)據(jù)進(jìn)行解碼，得到可以直接顯示的圖像/聲音

涉及技術(shù)或協(xié)議：

一般對應(yīng)的編碼器都會帶有相應(yīng)的解碼器叔遂，也有一些第三方解碼插件等

5他炊、播放顯示：

在顯示器（電視、監(jiān)視屏等）或揚(yáng)聲器（耳機(jī)掏熬、喇叭等）里佑稠，顯示相應(yīng)的圖像畫面或聲音

涉及技術(shù)或協(xié)議：

顯示器、揚(yáng)聲器旗芬、3D眼鏡等

（二） 視頻推流與視頻拉流的工作過程解析：

1.視頻推流端

推流舌胶，就是將采集到的音頻，視頻數(shù)據(jù)通過流媒體協(xié)議發(fā)送到流媒體服務(wù)器疮丛。

一幔嫂、選擇流媒體協(xié)議

現(xiàn)在直播應(yīng)用，采用RTMP協(xié)議居多誊薄，也有部分使用HLS協(xié)議履恩。

采用RTMP協(xié)議，就要看下它與流媒體服務(wù)器交互的過程呢蔫，RTMP協(xié)議的默認(rèn)端口是1935切心，采用TCP協(xié)議。并且需要了解FLV的封裝格式片吊。

采用HLS協(xié)議绽昏，因?yàn)樯婕暗角衅訒r(shí)會比較大俏脊，需要了解TS流全谤。

二、采集音視頻數(shù)據(jù)

做直播爷贫，數(shù)據(jù)的來源不可缺少认然，就是采集攝像頭，麥克風(fēng)的數(shù)據(jù)漫萄。

iOS平臺上采集音視頻數(shù)據(jù)卷员，需要使用AVFoundation.Framework框架，從captureSession會話的回調(diào)中獲取音頻腾务，視頻數(shù)據(jù)毕骡。

三、硬編碼，軟編碼音視頻數(shù)據(jù)

軟編碼就是利用CPU資源來壓縮音視頻數(shù)據(jù)挺峡，硬編碼與之相反。

軟編碼的話担钮，現(xiàn)在廣泛采用FFmpeg庫結(jié)合編碼庫來實(shí)現(xiàn)橱赠，F(xiàn)Fmpeg+X624來編碼視頻數(shù)據(jù)YUV/RGB輸出H264數(shù)據(jù)，

FFmpeg+fdk_aac來編碼音頻數(shù)據(jù)PCM輸出AAC數(shù)據(jù)箫津。

四狭姨、根據(jù)所選流媒體協(xié)議封包音視頻數(shù)據(jù)

將音頻，視頻打包成packet苏遥。

五饼拍、與服務(wù)器交互發(fā)送封包數(shù)據(jù)

根據(jù)所選流媒體協(xié)議，發(fā)送相應(yīng)指令連接服務(wù)器田炭，連接服務(wù)器成功后师抄，就可以發(fā)送packet數(shù)據(jù)了。

Part 2. 拉流端

拉流教硫，就是從流媒體服務(wù)器獲取音頻叨吮，視頻數(shù)據(jù)。

一瞬矩、解析協(xié)議

播放器端根據(jù)URL解析所用的流媒體協(xié)議（RTMP茶鉴，HLS）。

二景用、解封裝

解封裝涵叮，就是demux的過程，從容器格式（FLV伞插，TS）中割粮，分離出音視頻數(shù)據(jù)。

三蜂怎、解碼

解碼穆刻，就是把獲取到的數(shù)據(jù)解壓縮，恢復(fù)成原始數(shù)據(jù)杠步。解碼就是將H264變成YUV氢伟，AAC變成PCM。

解碼可以使用軟解碼幽歼，硬解碼朵锣。

軟解碼就是利用CPU資源去解壓縮數(shù)據(jù)，采用的方式是FFmpeg解碼甸私。

硬解碼诚些，對于iOS平臺來說，可以使用VideoToolbox.Framework（該框架只能在iOS 8.0及以上系統(tǒng)使用）

硬解碼視頻數(shù)據(jù)。Android平臺上诬烹，可以使用MediaCodec來硬解碼視頻數(shù)據(jù)砸烦。

四、渲染數(shù)據(jù)

采用OpenGL渲染YUV數(shù)據(jù)绞吁，呈現(xiàn)視頻畫面幢痘。將PCM送入設(shè)備的硬件資源播放，產(chǎn)生聲音家破。

iOS播放流式音頻颜说，使用Audio Queue 的方式，即汰聋，利用AudioToolbox.Framework 框架门粪。

三： iOS開發(fā)之iOS直播平臺有用的第三方資源共享：

1.? 實(shí)時(shí)美顏參考網(wǎng)址：http://altitudelabs.com/blog/real-time-filter/

2. 直播測試地址：

HLS：http://live.3gv.ifeng.com/live/hongkong.m3u8 鳳凰衛(wèi)視香港臺

SMTP：rtmp://live.hkstv.hk.lxdns.com/live/hks 香港衛(wèi)視

RSTP：rtsp://rtsp.vdowowza.tvb.com/tvblive/mobileinews200.stream 互動新聞臺1

3.? HLS streaming工具下載，用于處理m3u8音烹困、視頻源的HLS Streaming Tool Download

4. 直播相關(guān)SDK

1. VideoCore 在新浪云上有文檔說明玄妈，可閱讀iOS推流SDK使用文檔

2. 網(wǎng)易云信直播SDK 好像是收費(fèi)的，價(jià)格還不便宜髓梅，一般公司可能也不會用措近，不過可以嘗試看看，了解一下女淑，有助于學(xué)習(xí)瞭郑！

3. 暴風(fēng)云直播? http://www.baofengcloud.com/apisdk/sdk/live/iossdk.html

4. 融云直播? ? http://www.rongcloud.cn/live

5. 騰訊直播SDK? https://www.qcloud.com/solution/video.html

5. 直播相關(guān)開源庫

1. BeautifyFaceDemo 基于GPUImage的圖片處理，做美顏方面可以參考一下

2.? lf.swift 開源RTMP Swift版的鸭你，可以學(xué)習(xí)一下屈张！好像作者是日本的，或者是在日本工作的袱巨，寫了不少日文阁谆！

3.? PLPlayerKit 一個(gè)不依賴FFmpeg的播放器，支持RTMP

4.? HLS-Demo? https://github.com/yangchao0033/HLS-Demo? HLS播放demo

5. SmarterStreaming? https://github.com/daniulive/SmarterStreaming? 直播SDK（支持私有協(xié)議和RTMP推流愉老，如windows推流/android推流/iOS推流/windows播放器/android播放器/iOS播放器）

四： iOS開發(fā)之 iOS 直播平臺 常見的視頻直播相關(guān)協(xié)議詳解

1场绿、? ? RTMP(Real Time Messaging Protocol，實(shí)時(shí)消息傳送協(xié)議)

RTMP是Adobe Systems公司為Flash播放器和服務(wù)器之間音頻嫉入、視頻和數(shù)據(jù)傳輸開發(fā)的開放協(xié)議焰盗。它有三種變種：

1）、工作在TCP之上的明文協(xié)議咒林，使用端口1935熬拒；

2）、RTMPT封裝在HTTP請求之中垫竞，可穿越防火墻澎粟；

3）、RTMPS類似RTMPT，但使用的是HTTPS連接活烙；

RTMP協(xié)議是被Flash用于對象徐裸、視頻、音頻的傳輸啸盏。這個(gè)協(xié)議建立在TCP協(xié)議或者輪詢HTTP協(xié)議之上倦逐。RTMP協(xié)議就像一個(gè)用來裝數(shù)據(jù)包的容器，這些數(shù)據(jù)既可以是AMF格式的數(shù)據(jù)宫补，也可以是FLV中的視音頻數(shù)據(jù)。一個(gè)單一的連接可以通過不同的通道傳輸多路網(wǎng)絡(luò)流曾我，這些通道中的包都是按照固定大小的包傳輸?shù)摹?/p>

2粉怕、RTSP(Real Time Streaming Protocol，實(shí)時(shí)流傳輸協(xié)議)

RTSP定義了一對多應(yīng)用程序如何有效地通過IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)抒巢。RTSP提供了一個(gè)可擴(kuò)展框架贫贝，數(shù)據(jù)源可以包括實(shí)時(shí)數(shù)據(jù)與已有的存儲的數(shù)據(jù)。該協(xié)議目的在于控制多個(gè)數(shù)據(jù)發(fā)送連接蛉谜，為選擇發(fā)送通道如UDP稚晚、組播UDP與TCP提供途徑，并為選擇基于RTP上發(fā)送機(jī)制提供方法型诚。

RTSP語法和運(yùn)作跟HTTP/1.1類似客燕，但并不特別強(qiáng)調(diào)時(shí)間同步，所以比較能容忍網(wǎng)絡(luò)延遲狰贯。代理服務(wù)器的緩存功能也同樣適用于RTSP也搓，并且因?yàn)镽TSP具有重新導(dǎo)向功能，可根據(jù)實(shí)際負(fù)載情況來切換提供服務(wù)的服務(wù)器涵紊，以避免過大的負(fù)載集中于同一服務(wù)器而造成延遲傍妒。

3、RTP(Real-time Transport Protocol摸柄，實(shí)時(shí)傳輸協(xié)議)

RTP是針對多媒體數(shù)據(jù)流的一種傳輸層協(xié)議颤练，詳細(xì)說明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標(biāo)準(zhǔn)數(shù)據(jù)包格式。RTP協(xié)議常用于流媒體系統(tǒng)（配合RTCP協(xié)議）驱负，視頻會議和一鍵通系統(tǒng)（配合H.323或SIP）嗦玖，使它成為IP電話產(chǎn)業(yè)的技術(shù)基礎(chǔ)。

RTP是建立在UDP協(xié)議上的跃脊，常與RTCP一起使用踏揣，其本身并沒有提供按時(shí)發(fā)送機(jī)制或其它服務(wù)質(zhì)量（QoS）保證，它依賴于低層服務(wù)去實(shí)現(xiàn)這一過程匾乓。

RTP 并不保證傳送或防止無序傳送捞稿，也不確定底層網(wǎng)絡(luò)的可靠性，只管發(fā)送，不管傳輸是否丟包娱局，也不管接收方是否有收到包彰亥。RTP 實(shí)行有序傳送，RTP中的序列號允許接收方重組發(fā)送方的包序列衰齐，同時(shí)序列號也能用于決定適當(dāng)?shù)陌恢萌握缭谝曨l解碼中，就不需要順序解碼耻涛。

4废酷、RTCP(Real-time Transport Control Protocol，實(shí)時(shí)傳輸控制協(xié)議）

RTCP是RTP的配套協(xié)議抹缕，為RTP媒體流提供信道外的控制澈蟆。RTCP和RTP一起協(xié)作將多媒體數(shù)據(jù)打包和發(fā)送，定期在多媒體流會話參與者之間傳輸控制數(shù)據(jù)卓研。

RTCP的主要功能是為RTP所提供的服務(wù)質(zhì)量（QoS）提供反饋趴俘，收集相關(guān)媒體連接的統(tǒng)計(jì)信息，例如傳輸字節(jié)數(shù)奏赘，傳輸分組數(shù)寥闪，丟失分組數(shù)，單向和雙向網(wǎng)絡(luò)延遲等等磨淌。網(wǎng)絡(luò)應(yīng)用程序可以利用RTCP所提供的信息來提高服務(wù)質(zhì)量疲憋，比如限制流量或改用壓縮比小的編解碼器。