為童沉淪 2019-07-26 原文
收藏筆記
1 . 音視頻處理的一般流程：
數(shù)據(jù)采集→數(shù)據(jù)編碼→數(shù)據(jù)傳輸(流媒體服務(wù)器) →解碼數(shù)據(jù)→播放顯示
1奋蔚、數(shù)據(jù)采集：
攝像機(jī)及拾音器收集視頻及音頻數(shù)據(jù)，此時(shí)得到的為原始數(shù)據(jù)
涉及技術(shù)或協(xié)議：
攝像機(jī)：CCD、CMOS
拾音器：聲電轉(zhuǎn)換裝置（咪頭）泊碑、音頻放大電路
2坤按、數(shù)據(jù)編碼：
使用相關(guān)硬件或軟件對(duì)音視頻原始數(shù)據(jù)進(jìn)行編碼處理（數(shù)字化）及加工（如音視頻混合、打包封裝等）馒过，得到可用的音視頻數(shù)據(jù)
涉及技術(shù)或協(xié)議：
編碼方式：CBR臭脓、VBR
編碼格式
視頻：H.265、H.264沉桌、MPEG-4等谢鹊，封裝容器有TS、MKV留凭、AVI佃扼、MP4等
音頻：G.711μ、AAC蔼夜、Opus等兼耀，封裝有MP3、OGG求冷、AAC等
3瘤运、數(shù)據(jù)傳輸：
將編碼完成后的音視頻數(shù)據(jù)進(jìn)行傳輸，早期的音視頻通過同軸電纜之類的線纜進(jìn)行傳輸匠题，IP網(wǎng)絡(luò)發(fā)展后拯坟，使用IP網(wǎng)絡(luò)優(yōu)傳輸
涉及技術(shù)或協(xié)議：
傳輸協(xié)議：RTP與RTCP、RTSP韭山、RTMP郁季、HTTP、HLS（HTTP Live Streaming）等
控制信令：SIP和SDP钱磅、SNMP等
4梦裂、解碼數(shù)據(jù)：
使用相關(guān)硬件或軟件對(duì)接收到的編碼后的音視頻數(shù)據(jù)進(jìn)行解碼，得到可以直接顯示的圖像/聲音
涉及技術(shù)或協(xié)議：
一般對(duì)應(yīng)的編碼器都會(huì)帶有相應(yīng)的解碼器盖淡，也有一些第三方解碼插件等
5年柠、播放顯示：
在顯示器（電視、監(jiān)視屏等）或揚(yáng)聲器（耳機(jī)褪迟、喇叭等）里冗恨，顯示相應(yīng)的圖像畫面或聲音
涉及技術(shù)或協(xié)議：
顯示器、揚(yáng)聲器味赃、3D眼鏡等
（二） 視頻推流與視頻拉流的工作過程解析：
1.視頻推流端
推流派近，就是將采集到的音頻，視頻數(shù)據(jù)通過流媒體協(xié)議發(fā)送到流媒體服務(wù)器洁桌。
一、選擇流媒體協(xié)議
現(xiàn)在直播應(yīng)用侯嘀，采用RTMP協(xié)議居多另凌，也有部分使用HLS協(xié)議谱轨。
采用RTMP協(xié)議，就要看下它與流媒體服務(wù)器交互的過程吠谢，RTMP協(xié)議的默認(rèn)端口是1935土童，采用TCP協(xié)議。并且需要了解FLV的封裝格式工坊。
采用HLS協(xié)議献汗，因?yàn)樯婕暗角衅訒r(shí)會(huì)比較大王污，需要了解TS流罢吃。
二、采集音視頻數(shù)據(jù)
做直播昭齐，數(shù)據(jù)的來(lái)源不可缺少尿招，就是采集攝像頭，麥克風(fēng)的數(shù)據(jù)阱驾。
iOS平臺(tái)上采集音視頻數(shù)據(jù)就谜，需要使用AVFoundation.Framework框架，從captureSession會(huì)話的回調(diào)中獲取音頻里覆，視頻數(shù)據(jù)槽惫。
三、硬編碼畴蒲，軟編碼音視頻數(shù)據(jù)
軟編碼就是利用CPU資源來(lái)壓縮音視頻數(shù)據(jù)展氓，硬編碼與之相反。
軟編碼的話割去，現(xiàn)在廣泛采用FFmpeg庫(kù)結(jié)合編碼庫(kù)來(lái)實(shí)現(xiàn)窟却，F(xiàn)Fmpeg+X624來(lái)編碼視頻數(shù)據(jù)YUV/RGB輸出H264數(shù)據(jù)，
FFmpeg+fdk_aac來(lái)編碼音頻數(shù)據(jù)PCM輸出AAC數(shù)據(jù)呻逆。
四夸赫、根據(jù)所選流媒體協(xié)議封包音視頻數(shù)據(jù)
將音頻，視頻打包成packet咖城。
五茬腿、與服務(wù)器交互發(fā)送封包數(shù)據(jù)
根據(jù)所選流媒體協(xié)議，發(fā)送相應(yīng)指令連接服務(wù)器宜雀，連接服務(wù)器成功后切平，就可以發(fā)送packet數(shù)據(jù)了。
Part 2. 拉流端
拉流辐董，就是從流媒體服務(wù)器獲取音頻悴品，視頻數(shù)據(jù)。
一、解析協(xié)議
播放器端根據(jù)URL解析所用的流媒體協(xié)議（RTMP苔严，HLS）定枷。
二、解封裝
解封裝届氢，就是demux的過程欠窒，從容器格式（FLV，TS）中退子，分離出音視頻數(shù)據(jù)岖妄。
三、解碼
解碼寂祥，就是把獲取到的數(shù)據(jù)解壓縮荐虐，恢復(fù)成原始數(shù)據(jù)。解碼就是將H264變成YUV壤靶，AAC變成PCM缚俏。
解碼可以使用軟解碼，硬解碼贮乳。
軟解碼就是利用CPU資源去解壓縮數(shù)據(jù)忧换，采用的方式是FFmpeg解碼。
硬解碼向拆，對(duì)于iOS平臺(tái)來(lái)說亚茬，可以使用VideoToolbox.Framework（該框架只能在iOS 8.0及以上系統(tǒng)使用）
硬解碼視頻數(shù)據(jù)。Android平臺(tái)上浓恳，可以使用MediaCodec來(lái)硬解碼視頻數(shù)據(jù)刹缝。
四、渲染數(shù)據(jù)
采用OpenGL渲染YUV數(shù)據(jù)颈将，呈現(xiàn)視頻畫面梢夯。將PCM送入設(shè)備的硬件資源播放，產(chǎn)生聲音晴圾。
iOS播放流式音頻颂砸，使用Audio Queue 的方式，即死姚，利用AudioToolbox.Framework 框架人乓。
三： iOS開發(fā)之iOS直播平臺(tái)有用的第三方資源共享：
1. 實(shí)時(shí)美顏參考網(wǎng)址：http://altitudelabs.com/blog/real-time-filter/
2. 直播測(cè)試地址：
HLS：http://live.3gv.ifeng.com/live/hongkong.m3u8 鳳凰衛(wèi)視香港臺(tái)
SMTP：rtmp://live.hkstv.hk.lxdns.com/live/hks 香港衛(wèi)視
RSTP：rtsp://rtsp.vdowowza.tvb.com/tvblive/mobileinews200.stream 互動(dòng)新聞臺(tái)1
3. HLS streaming工具下載，用于處理m3u8音都毒、視頻源的HLS Streaming Tool Download
直播相關(guān)SDK
VideoCore 在新浪云上有文檔說明色罚，可閱讀iOS推流SDK使用文檔
2. 網(wǎng)易云信直播SDK 好像是收費(fèi)的，價(jià)格還不便宜账劲，一般公司可能也不會(huì)用戳护，不過可以嘗試看看金抡，了解一下，有助于學(xué)習(xí)姑尺！
3. 暴風(fēng)云直播 http://www.baofengcloud.com/apisdk/sdk/live/iossdk.html
4. 融云直播 http://www.rongcloud.cn/live
5. 騰訊直播SDK https://www.qcloud.com/solution/video.html
5. 直播相關(guān)開源庫(kù)BeautifyFaceDemo 基于GPUImage的圖片處理竟终，做美顏方面可以參考一下
2. lf.swift 開源RTMP Swift版的，可以學(xué)習(xí)一下切蟋！好像作者是日本的，或者是在日本工作的榆芦，寫了不少日文柄粹！
3. PLPlayerKit 一個(gè)不依賴FFmpeg的播放器，支持RTMP
4. HLS-Demo https://github.com/yangchao0033/HLS-Demo HLS播放demo
5. SmarterStreaming https://github.com/daniulive/SmarterStreaming 直播SDK（支持私有協(xié)議和RTMP推流匆绣，如windows推流/android推流/iOS推流/windows播放器/android播放器/iOS播放器）
四： iOS開發(fā)之 iOS 直播平臺(tái) 常見的視頻直播相關(guān)協(xié)議詳解
1驻右、 RTMP(Real Time Messaging Protocol，實(shí)時(shí)消息傳送協(xié)議)
RTMP是Adobe Systems公司為Flash播放器和服務(wù)器之間音頻崎淳、視頻和數(shù)據(jù)傳輸開發(fā)的開放協(xié)議堪夭。它有三種變種：
1）、工作在TCP之上的明文協(xié)議拣凹，使用端口1935森爽；
2）、RTMPT封裝在HTTP請(qǐng)求之中嚣镜，可穿越防火墻爬迟；
3）、RTMPS類似RTMPT菊匿，但使用的是HTTPS連接付呕；
RTMP協(xié)議是被Flash用于對(duì)象、視頻跌捆、音頻的傳輸徽职。這個(gè)協(xié)議建立在TCP協(xié)議或者輪詢HTTP協(xié)議之上。RTMP協(xié)議就像一個(gè)用來(lái)裝數(shù)據(jù)包的容器佩厚，這些數(shù)據(jù)既可以是AMF格式的數(shù)據(jù)姆钉，也可以是FLV中的視音頻數(shù)據(jù)。一個(gè)單一的連接可以通過不同的通道傳輸多路網(wǎng)絡(luò)流可款，這些通道中的包都是按照固定大小的包傳輸?shù)摹?/p>
2育韩、RTSP(Real Time Streaming Protocol，實(shí)時(shí)流傳輸協(xié)議)
RTSP定義了一對(duì)多應(yīng)用程序如何有效地通過IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)闺鲸。RTSP提供了一個(gè)可擴(kuò)展框架筋讨，數(shù)據(jù)源可以包括實(shí)時(shí)數(shù)據(jù)與已有的存儲(chǔ)的數(shù)據(jù)。該協(xié)議目的在于控制多個(gè)數(shù)據(jù)發(fā)送連接摸恍，為選擇發(fā)送通道如UDP悉罕、組播UDP與TCP提供途徑赤屋，并為選擇基于RTP上發(fā)送機(jī)制提供方法。
RTSP語(yǔ)法和運(yùn)作跟HTTP/1.1類似壁袄，但并不特別強(qiáng)調(diào)時(shí)間同步类早，所以比較能容忍網(wǎng)絡(luò)延遲。代理服務(wù)器的緩存功能也同樣適用于RTSP嗜逻，并且因?yàn)镽TSP具有重新導(dǎo)向功能涩僻，可根據(jù)實(shí)際負(fù)載情況來(lái)切換提供服務(wù)的服務(wù)器，以避免過大的負(fù)載集中于同一服務(wù)器而造成延遲栈顷。
3逆日、RTP(Real-time Transport Protocol，實(shí)時(shí)傳輸協(xié)議)
RTP是針對(duì)多媒體數(shù)據(jù)流的一種傳輸層協(xié)議萄凤，詳細(xì)說明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標(biāo)準(zhǔn)數(shù)據(jù)包格式室抽。RTP協(xié)議常用于流媒體系統(tǒng)（配合RTCP協(xié)議），視頻會(huì)議和一鍵通系統(tǒng)（配合H.323或SIP）靡努，使它成為IP電話產(chǎn)業(yè)的技術(shù)基礎(chǔ)坪圾。
RTP是建立在UDP協(xié)議上的，常與RTCP一起使用惑朦，其本身并沒有提供按時(shí)發(fā)送機(jī)制或其它服務(wù)質(zhì)量（QoS）保證兽泄，它依賴于低層服務(wù)去實(shí)現(xiàn)這一過程。
