本項(xiàng)目完全開(kāi)源，項(xiàng)目Github地址：AndroidInstantVideo
目前開(kāi)源的項(xiàng)目或市面上的Android直播客戶端主要是用ffmpeg來(lái)實(shí)現(xiàn)推流的娃兽。本文將介紹使用Android原生的視頻編碼類(lèi)MediaCodec實(shí)現(xiàn)直播推流牍陌。
數(shù)據(jù)流及大致原理
這里所說(shuō)的直播芒帕，就是將你的客戶端產(chǎn)生的視頻數(shù)據(jù)玷禽，實(shí)時(shí)發(fā)送到服務(wù)器上。服務(wù)器上的數(shù)據(jù)再實(shí)時(shí)地發(fā)送到播放客戶端上乌询。
- 以視頻數(shù)據(jù)為例：
獲取Camera畫(huà)面
首先是攝像頭拍攝得到原始畫(huà)面數(shù)據(jù)榜贴，這里原始畫(huà)面數(shù)據(jù)的格式我們不用管，因?yàn)槲覀兪褂玫氖荕ediaCodec妹田，所以我們會(huì)使用
camera.setPreviewTexture(surfaceTexture)
來(lái)利用Camera獲取到的畫(huà)面唬党。
此處的原理可忽略，大致說(shuō)明的話鬼佣，就是Camera會(huì)把獲得的畫(huà)面保存為OpenGL的一個(gè)紋理驶拱，我們使用這個(gè)紋理就能使用Camera的畫(huà)面。
繪制畫(huà)面
在獲得畫(huà)面之后晶衷，我們要把這個(gè)畫(huà)面（紋理）“畫(huà)”到MediaCodec上蓝纲。
如何畫(huà)？
MediaCodec提供一張’白紙’晌纫，也就是一個(gè)Surface税迷，供我們把紋理畫(huà)到上面。此處的API是
MediaCodec.createInputSurface()
怎么畫(huà)锹漱？用Canvas畫(huà)箭养。當(dāng)然不是一般的Canvas，我用了這個(gè)開(kāi)源項(xiàng)目android-openGL-canvas哥牍。
H264數(shù)據(jù)
畫(huà)上去后毕泌，MediaCodec就會(huì)幫我們把原始畫(huà)面數(shù)據(jù)，壓縮成相應(yīng)的視頻數(shù)據(jù)嗅辣，目前我這里是壓縮成H264數(shù)據(jù)撼泛。
所謂的H264數(shù)據(jù)，其實(shí)只是一堆堆的byte[]數(shù)組澡谭。在項(xiàng)目的例子坎弯，我把H264數(shù)據(jù)寫(xiě)成了文件，可以用某些播放器播放（例如PotPlayer）译暂。
RTMP
我使用了一個(gè)開(kāi)源項(xiàng)目，可以將視頻數(shù)據(jù)封成RTMP包撩炊，發(fā)送到服務(wù)器上外永。
LibRtmp-Client-for-Android
總結(jié)
數(shù)據(jù)流可以這樣看
Camera -> SurfaceTexture -> Surface -> MediaCodec -> encode data(byte[]) -> RTMPMuxer -> Server
- 音頻數(shù)據(jù)：
相對(duì)簡(jiǎn)單一些，就是從AudioRecord里獲取原始音頻數(shù)據(jù)（byte[])拧咳，編碼成AAC數(shù)據(jù)（也是byte[])伯顶，然后給RTMPMuxer，封裝成RTMP包，發(fā)到服務(wù)器
麥克風(fēng)MIC -> AudioRecord -> voice data(就是byte[]) -> MediaCodec -> encode data(就是byte[]) -> RTMPMuxer -> Server
- Muxer
前面有提到有視頻的RTMP包和音頻的RTMP包祭衩，分別是將單元H264和單元AAC封裝成RTMP包灶体，發(fā)到服務(wù)器。這些包之間有什么規(guī)律掐暮？
這些包之間是按時(shí)間順序排列的蝎抽，MediaCodec返回編碼數(shù)據(jù)時(shí)，會(huì)返回編碼數(shù)據(jù)的時(shí)間戳路克。但注意編碼成RTMP包時(shí)樟结，取的是相對(duì)時(shí)間戳，也就是說(shuō)取到時(shí)間戳?xí)r精算，需要計(jì)算與上一個(gè)包的時(shí)間戳的差值瓢宦，寫(xiě)到RTMP包里。
另外RTMP流本質(zhì)上是FLV格式的音視頻灰羽，這里也提供了寫(xiě)成FLV文件的功能驮履。
效果圖
PC播放端
Android推流端
視頻幀圖像處理
前面提到視頻幀的圖像處理，實(shí)際上也是利用了android-openGL-canvas廉嚼。
關(guān)鍵代碼如下：
...
streamPublisher.prepareEncoder(streamPublisherParam, new H264Encoder.OnDrawListener() {
@Override
public void onGLDraw(ICanvasGL canvasGL, SurfaceTexture surfaceTexture, RawTexture rawTexture, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
drawVideoFrame(canvasGL, outsideSurfaceTexture, outsideTexture);
Loggers.i("DEBUG", "gl draw");
}
});
...
private void drawVideoFrame(ICanvasGL canvasGL, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
// Here you can do video process
// 此處可以視頻處理玫镐，例如加水印等等
TextureFilter textureFilterLT = new BasicTextureFilter();
TextureFilter textureFilterRT = new HueFilter(180);
int width = outsideTexture.getWidth();
int height = outsideTexture.getHeight();
canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, 0, width /2, height /2, textureFilterLT);
canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, height/2, width/2, height, textureFilterRT);
}
...
如上所示，可以使用各種Filter實(shí)現(xiàn)對(duì)視頻幀圖像的處理前鹅≌玻總而言之，可以像Canvas那樣在視頻幀上繪制各種東西舰绘。當(dāng)然要在圖上畫(huà)文字就只能用bitmap代替了蹂喻。
碼率bit/s
在使用MediaCodec時(shí)，需要設(shè)置碼率捂寿。這個(gè)碼率是根據(jù)視頻分辨率口四，色彩格式算出來(lái)的。
public H264Encoder(int width, int height, int bitRate, int frameRate, int iframeInterval, final EglContextWrapper eglCtx) throws IOException
其中bitRate就是碼率秦陋，單位bit/s
一些計(jì)算方法可以參考此文：
What bitrate should I use when encoding my video?
Output size Bitrate Filesize
320x240 pixels 400 kbps 3MB / minute
480x270 pixels 700 kbps 5MB / minute
1024 x 576 pixels 1500 kbps 11MB / minute
1280x720 pixels 2500 kbps 19MB / minute
1920x1080 pixels 4000 kbps 30MB / minute
此方法大部分情況下夠用蔓彩，但是對(duì)于復(fù)雜視頻處理還欠缺。
例如
對(duì)比下圖的無(wú)處理效果（一張紋理）
對(duì)于下圖這樣處理效果（2個(gè)畫(huà)面用的是與上圖同樣大小的紋理驳概，雖然我設(shè)置顯示的尺寸不一樣）赤嚼，碼率是上圖的2倍左右。
測(cè)試服務(wù)器
需要測(cè)試的話顺又，請(qǐng)自行搭建RTMP服務(wù)器更卒。我用的是自己搭建的Nginx服務(wù)器，用的Module是nginx-rtmp-module稚照。搭建服務(wù)器不需要寫(xiě)代碼蹂空，根據(jù)教程敲幾行命令就行俯萌。
可以用開(kāi)源直播軟件OBS對(duì)比播放效果。
播放器用各種都行上枕，VLC咐熙，PotPlayer，ffplay都可以辨萍。
我用的是ffplay棋恼，注意，因?yàn)橹皇呛?jiǎn)單的服務(wù)器分瘦，所以要先開(kāi)播放器連接后再開(kāi)始啟動(dòng)推流蘸泻。
我使用的命令是 .\ffplay.exe "rtmp://localhost:19305/live/room live=1"
另外可以使用一下軟件查看生成的文件的詳情。
看H264文件
H.264視頻碼流解析--雷霄驊
看aac文件
AAC音頻碼流解析--雷霄驊
看flv文件
FLV封裝格式解析--雷霄驊
感謝雷神嘲玫。
聲明
本項(xiàng)目完全開(kāi)源悦施，項(xiàng)目Github地址：AndroidInstantVideo
本項(xiàng)目為個(gè)人開(kāi)源項(xiàng)目，目前只做過(guò)簡(jiǎn)單的測(cè)試去团，如果要使用的話抡诞，請(qǐng)自行多測(cè)試，有問(wèn)題可以到我的Github項(xiàng)目地址提出土陪。
最后
您的打賞是對(duì)作者的最大支持Ｖ绾埂！當(dāng)然在Github上點(diǎn)個(gè)Star也是很大的支持哈哈鬼雀。
