1麦乞、iOS客戶端要實(shí)現(xiàn)直播功能蕴茴，需要經(jīng)過(guò)流程為：

? ? ? 采集－處理－編碼－封包－推流－播放

采集：

視頻通過(guò)攝像頭進(jìn)行采集，需要用到iOS底層庫(kù)AVCaptureSession姐直，音頻通過(guò)麥克風(fēng)進(jìn)行采集倦淀，需要用到底層庫(kù)AudioMedia

處理：

對(duì)視頻加美顏、水印声畏，主要使用openGL來(lái)實(shí)現(xiàn)撞叽，GPUImage是一個(gè)基于openGL一個(gè)強(qiáng)大的圖像/視頻處理框架,封裝好了各種濾鏡同時(shí)也可以編寫(xiě)自定義的濾鏡,其本身內(nèi)置了多達(dá)120多種常見(jiàn)的濾鏡效果。

編碼：

不管是視頻插龄，還是音頻愿棋，最好使用硬編，可以減少手機(jī)的發(fā)熱量均牢，效率也比較高糠雨。視頻編碼可以使用VideoToolbox，蘋果自帶的視頻硬解碼和硬編碼API徘跪，但是在iOS8之后才開(kāi)放甘邀。音頻采用AudioToolbox 琅攘，蘋果自帶的音頻硬解碼和硬編碼API。

封包和推流：

使用CDN即分發(fā)網(wǎng)絡(luò)松邪，將視頻和音頻推送到觀眾端坞琴，可以看到直播內(nèi)容。雖然分發(fā)網(wǎng)絡(luò)和iOS客戶端沒(méi)有關(guān)系测摔，但是作為直播app置济，還是有優(yōu)化空間的，比如動(dòng)態(tài)碼率優(yōu)化锋八，碼率很高的話浙于，需要的流量會(huì)很多，要求網(wǎng)速快挟纱，當(dāng)網(wǎng)速很慢的情況下羞酗，需要對(duì)畫(huà)面的質(zhì)量或者說(shuō)分辨率進(jìn)行取舍，讓碼率降下來(lái)紊服，以適應(yīng)網(wǎng)絡(luò)環(huán)境差的情況檀轨。

播放：

播放器可以做一些優(yōu)化，當(dāng)網(wǎng)絡(luò)卡的情況下欺嗤，主播這邊還是在不斷地推流参萄，播放器將推流的信息緩存下來(lái)，進(jìn)行播放煎饼，卡得越頻繁讹挎，造成得延遲就越大，所以要做累計(jì)延遲優(yōu)化吆玖，也就是在緩存很多信息時(shí)筒溃，可以選擇性地將中間一些東西丟掉，因?yàn)閷?duì)于直播而言沾乘，實(shí)時(shí)性是很重要得怜奖。

2、為了節(jié)省成本翅阵，可以使用第三方sdk歪玲，進(jìn)行直播功能的快速集成，例如阿里云掷匠、百度直播云滥崩、七牛云等。

使用第三方sdk實(shí)現(xiàn)流程：

當(dāng)主播進(jìn)行直播時(shí)槐雾，客戶端扮演的角色是采集端夭委，將視頻推流到實(shí)時(shí)流網(wǎng)絡(luò)中；當(dāng)觀眾觀看直播時(shí)，客戶端扮演的是播放端株灸，將音視頻從網(wǎng)絡(luò)地址拉流崇摄，進(jìn)行播放。這兩個(gè)邏輯需要分開(kāi)來(lái)寫(xiě)慌烧。

第一種：采集端：

采集端會(huì)向業(yè)務(wù)服務(wù)器（我們自己的服務(wù)器）獲取授權(quán)的推流地址逐抑，業(yè)務(wù)服務(wù)器判斷是否是被認(rèn)同的客戶端發(fā)來(lái)的請(qǐng)求，然后向第三方sdk請(qǐng)求推流地址屹蚊，返回給客戶端厕氨，客戶端就可以向?qū)崟r(shí)流網(wǎng)絡(luò)進(jìn)行推流了。

第二種：播放端：

播放端需要向業(yè)務(wù)服務(wù)器請(qǐng)求獲取播放地址汹粤，通過(guò)播放sdk就可以播放了命斧。播放的時(shí)候會(huì)用到直播的不同的協(xié)議，區(qū)別如下圖：

HLS是蘋果推出的協(xié)議嘱兼，雖然延時(shí)比較大国葬，在Mac下面跑播放器會(huì)有嚴(yán)重的發(fā)熱，但是一個(gè)優(yōu)勢(shì)是可以跨平臺(tái)芹壕，在不同的瀏覽器上進(jìn)行播放

3汇四、開(kāi)發(fā)細(xì)節(jié)：

首屏秒開(kāi)：從點(diǎn)擊進(jìn)到一個(gè)直播房間，到第一幀渲染開(kāi)始播放踢涌，時(shí)間不超過(guò)1秒

實(shí)現(xiàn)原理：

現(xiàn)在視頻解碼最多的就是H.264編碼通孽，對(duì)于H.264編碼來(lái)說(shuō)，會(huì)有三個(gè)不同的幀睁壁，所謂幀就是你看到的每一個(gè)圖像背苦。我們看到動(dòng)態(tài)的視頻，大家知道電影最開(kāi)始用膠片拍的時(shí)候堡僻，每秒是25幀糠惫，是每秒25個(gè)圖片在切換疫剃。對(duì)于H.264來(lái)講钉疫，我們常見(jiàn)的有I幀，P幀巢价，和B幀牲阁。I幀，B幀壤躲，P幀它是怎么組成一個(gè)視頻流呢?我們管這個(gè)東西叫Group Of Picture城菊，簡(jiǎn)稱叫GoP。IDR幀（關(guān)鍵幀）是I幀碉克，但I(xiàn)幀并不一定是IDR幀凌唬。那么對(duì)于直播來(lái)講，我是一個(gè)隨機(jī)的時(shí)間點(diǎn)接到這個(gè)視頻流進(jìn)行播放漏麦，那么我接入的這個(gè)時(shí)間點(diǎn)的幀有可能拿到的第一個(gè)幀的數(shù)據(jù)是I幀客税，也有可能是B幀况褪，也有可能是P幀。這是一個(gè)隨機(jī)的更耻。在這種情況下测垛，我們大概率會(huì)出現(xiàn)一個(gè)黑屏的狀態(tài)。因?yàn)槲夷玫降氖莻€(gè)P幀秧均，對(duì)于P幀來(lái)講食侮，解碼器面那個(gè)Buffer是空的，它不知道這個(gè)P幀如何進(jìn)行解碼目胡，所以它只能丟棄這個(gè)幀锯七。對(duì)于直播來(lái)講，我一秒鐘的幀數(shù)是固定的誉己，只能等到我下一個(gè)關(guān)鍵幀到來(lái)的時(shí)候起胰，我才能開(kāi)始去播放。當(dāng)然正好趕巧了的話巫延，接入那瞬間得到的數(shù)據(jù)正好是個(gè)I幀效五。就可以達(dá)到秒開(kāi)的效果。

所以我們要保證每次進(jìn)來(lái)的時(shí)候都是從I幀開(kāi)始播放的炉峰，其實(shí)是在cache服務(wù)器上畏妖，它會(huì)去預(yù)先解一下這個(gè)幀，然后去看它到底是個(gè)I幀疼阔，還是個(gè)B幀戒劫，還是個(gè)P幀，當(dāng)它發(fā)現(xiàn)是I幀的時(shí)候婆廊，它會(huì)放在它的程序的內(nèi)存里頭迅细，當(dāng)你每一次打開(kāi)這個(gè)視頻流的時(shí)候，cache服務(wù)器會(huì)把內(nèi)存中的I幀發(fā)送給客戶端比如當(dāng)前播放到了P幀淘邻，那我把P幀前面的I幀和P幀全波放到cache的內(nèi)存里茵典，然后當(dāng)客戶端接入之后先把內(nèi)存里的數(shù)據(jù)發(fā)送給客戶端解碼器，然后再?gòu)倪@個(gè)B幀往后給宾舅。對(duì)于這個(gè)解碼器來(lái)講统阿，它很舒服，它接到第一個(gè)數(shù)據(jù)流的第一個(gè)包肯定是I幀筹我，那么它就可以直接播放了扶平。

具體細(xì)節(jié)參考網(wǎng)址：https://blog.csdn.net/wishfly/article/details/53079303

弱網(wǎng)丟幀優(yōu)化：在網(wǎng)絡(luò)不好的情況下發(fā)生，解決：降碼率：降低畫(huà)面質(zhì)量和分辨率等蔬蕊，窄帶高清：簡(jiǎn)單來(lái)說(shuō)就是搞一個(gè)服務(wù)结澄，能夠在超低碼率下，讓你的直播不模糊，阿里云和騰訊云都有麻献。動(dòng)態(tài)降碼率：前面有提到過(guò)呼巷。

整體延遲優(yōu)化：在網(wǎng)絡(luò)不好的情況下，緩存內(nèi)容增多赎瑰，造成延遲增大王悍，為了保證延遲不會(huì)太大，需要選擇性地丟掉一些幀餐曼。