人間觀察
你什么時(shí)候覺得自己好孤獨(dú)
這篇我們介紹如何在Android中實(shí)現(xiàn)硬編碼為H264肋拔，用camera或者其它數(shù)據(jù)來源也行贰拿，我們先不用camera，camera還是蠻復(fù)雜的（比如前后置攝像頭預(yù)覽，yuv數(shù)據(jù)轉(zhuǎn)換萍程，camera2等等）。本篇采用錄屏（錄制手機(jī)屏幕）然后編碼h264到文件兔仰。
如果你看了上篇文章了解了硬編碼和h264茫负，這篇就很簡(jiǎn)單了。
代碼用kotlin實(shí)現(xiàn)乎赴，學(xué)kotlin中忍法，練練手。榕吼。饿序。
錄屏
Android中的錄屏功能是在Android 5.0 API 21 上新增的，不需要root羹蚣，但需要授權(quán)原探。一般直播的APP都會(huì)有這個(gè)功能，實(shí)現(xiàn)方案就是這個(gè)顽素。
方案：
視頻來自屏幕咽弦，音頻來自麥克風(fēng)或者播放器（如果只需要播放器的聲音的話），然后視頻編碼為h264胁出，音頻編碼為aac型型，交給混合器MediaMuxer將音頻數(shù)據(jù)和視頻數(shù)據(jù)分別寫入同一個(gè)文件中的音頻軌道和視頻軌道合成為mp4,然后把mp4文件上傳到服務(wù)器。
在APP中錄屏是一種很危險(xiǎn)的操作全蝶，必須很強(qiáng)制的提醒用戶输莺，所以系統(tǒng)進(jìn)行了彈窗授權(quán)。
錄屏請(qǐng)求授權(quán)
錄屏主要用到的API是MediaProjectionManager和MediaProjection裸诽。MediaProjectionManager和其它系統(tǒng)服務(wù)一樣，比如AlarmManager型凳，ConnectivityManager等丈冬，通過getSystemService方法獲取。
private lateinit var mediaProjectionManager: MediaProjectionManager
mediaProjectionManager =
getSystemService(Context.MEDIA_PROJECTION_SERVICE) as MediaProjectionManager
val intent: Intent = mediaProjectionManager.createScreenCaptureIntent()
startActivityForResult(intent, REQUEST_CODE)
請(qǐng)求后甘畅，系統(tǒng)會(huì)彈個(gè)對(duì)話框提醒是否允許用戶截取屏幕上顯示的所有內(nèi)容埂蕊。如果允許/拒絕，則回調(diào)onActivityResult方法疏唾，系統(tǒng)采用這種機(jī)制說明錄屏只能在Activity中使用蓄氧。
override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?) {
super.onActivityResult(requestCode, resultCode, data)
if (resultCode == RESULT_OK && requestCode == REQUEST_CODE) {
val mediaProjection = mediaProjectionManager.getMediaProjection(resultCode, data!!)
encodeThread = H264EncodeThread(mediaProjection)
encodeThread?.startEncode()
}
}
ok，簡(jiǎn)單的介紹下使用方法即可槐脏，我們重點(diǎn)在h264的編碼喉童，錄屏只是作為我們視頻數(shù)據(jù)的采集方式，所以錄屏這個(gè)名字應(yīng)該加屏幕視頻數(shù)據(jù)的采集更貼切顿天。
H264硬編碼
我們實(shí)現(xiàn)的demo是把錄屏采集的畫面經(jīng)過MediaCodec編碼后寫入到文件中堂氯。還是用MediaCodec硬編碼蔑担，關(guān)于MediaCodec的使用可以參考上一篇。
初始化編碼器
init {
// H264/avc的編碼器
mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC)
val mediaFormat =
MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, WIDTH, HEIGHT)
mediaFormat.setInteger(
MediaFormat.KEY_COLOR_FORMAT,
MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface
)
// 碼率
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, WIDTH * HEIGHT)
// i幀間隔,MediaCodec一般會(huì)按照KEY_FRAME_RATE輸出
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2)
// 幀率咽白，每25幀后一次關(guān)鍵幀啤握，即使畫面不動(dòng)
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 25)
// 第4個(gè)參數(shù)需要設(shè)置為CONFIGURE_FLAG_ENCODE=1
mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
// surface，錄屏和編碼的進(jìn)行關(guān)聯(lián)
val surface = mediaCodec.createInputSurface()
mediaProjection.createVirtualDisplay(
"screen-h264", WIDTH, HEIGHT, 2,
DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
)
}
其中主要的一點(diǎn)就是如何吧屏幕采集的數(shù)據(jù)和編碼器輸入進(jìn)行關(guān)聯(lián)晶框，我們這里是屏幕采集用的是surface排抬。系統(tǒng)的編碼器提供了mediaCodec.createInputSurface方法來創(chuàng)建一個(gè)surface，然后mediaProjection的
mediaProjection.createVirtualDisplay(
"screen-h264", WIDTH, HEIGHT, 2,
DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
)
進(jìn)行關(guān)聯(lián)授段。這樣對(duì)于上層API調(diào)用的時(shí)候就簡(jiǎn)單了蹲蒲，不需要手動(dòng)的通過mediaCodec的queueInputBuffer來輸入數(shù)據(jù)給編碼器了。
- 我們傳入的是surface畴蒲，這個(gè)就有了很好的可操控性悠鞍，比如可以用opengl來截取屏幕指定區(qū)域的地址，或者加貼紙模燥，水印咖祭，變色等等操作。后續(xù)文章可能會(huì)介紹
- 不需要手動(dòng)給mediaCodec輸入數(shù)據(jù)了蔫骂。
編碼處理
如上所訴這樣編碼的代碼就很簡(jiǎn)單了如下：
while (!isStop) {
mediaCodec.queueInputBuffer()
val outIndex = mediaCodec.dequeueOutputBuffer(info, 10_1000)
if (outIndex >= 0) {
// 取出編碼后的H264數(shù)據(jù)
val byteBuffer = mediaCodec.getOutputBuffer(outIndex)
val data = ByteArray(info.size)
byteBuffer?.get(data)
check(data)
// to file
fos.write(data)
// 編碼么翰。給false 不需要渲染
mediaCodec.releaseOutputBuffer(outIndex, false);
}
}
通過mediaCodec.getOutputBuffer(outIndex)采取出編碼后的h264數(shù)據(jù)寫入到文件中。同時(shí)我們有一個(gè)check方法辽旋，主要是看一下當(dāng)前是SPS,PPS,IDR還是非IDR幀浩嫌。
private fun check(data: ByteArray) {
var index = 4 // 00 00 00 01
if (data[2].toInt() == 0X1) { // 00 00 01
index = 3
}
// NALU的數(shù)據(jù)類型,header 1個(gè)字節(jié)的后五位
val naluType = (data[index].and(0x1F)).toInt()
if (naluType == 7) {
Log.d(TAG, "SPS")
} else if (naluType == 8) {
Log.d(TAG, "PPS")
} else if (naluType == 5) {
Log.d(TAG, "IDR")
} else {
Log.d(TAG, "非IDR=" + naluType)
}
}
按照h264碼流的結(jié)構(gòu)解析，檢查視頻壓縮數(shù)據(jù)的NAL單元（NAL Unit补胚，NALU）码耐，取出NALU的類型進(jìn)行判斷，然后進(jìn)行了打印溶其。
同時(shí)我們把生成的h264文件骚腥，16進(jìn)制的方式打開，截取開頭的帶SPS,PPS,IDR幀的數(shù)據(jù)瓶逃，和我們之前分析的H264碼流結(jié)構(gòu)一樣束铭。
0000 0001 6742 c01f da02 d028 4400 0000
0168 ca8f 2000 0000 0165 b841 dfff ff04
4245 0001 003f 1c00 0407 2381 be3e 8047
ee36 a6ff e00d 5d26 f9ec 6cc8 d973 dfff
ff82 1580 8666 44f9 95ba 5bff 8f0c 2bc5
952c 51bd 80de 68d2 7e7f fffe 081f 012c
4eec f9bf ffc2 0b89 8030 96cc f002 7538
8045 e9ff ff87 a05a f003 67b2 4383 dfcd
40cd 218c 9edf fff8 7a0e 930e b532 200f
// 省略其它數(shù)據(jù)...
h264碼流的結(jié)構(gòu)分析參考：
Android音視頻【二】 H264碼流結(jié)構(gòu)
編碼器的銷毀
最后就是釋放操作
isStop = true
mediaProjection.stop()
mediaCodec.stop()
mediaCodec.release()
整體代碼參考源碼
