【聲 明】
首先烤咧，這一系列文章均基于自己的理解和實踐偏陪，可能有不對的地方，歡迎大家指正煮嫌。
其次笛谦，這是一個入門系列，涉及的知識也僅限于夠用昌阿，深入的知識網(wǎng)上也有許許多多的博文供大家學(xué)習(xí)了饥脑。
最后，寫文章過程中宝泵，會借鑒參考其他人分享的文章好啰，會在文章最后列出，感謝這些作者的分享儿奶。
碼字不易框往，轉(zhuǎn)載請注明出處！
| 教程代碼：【Github傳送門】 |
|---|
目錄
一闯捎、Android音視頻硬解碼篇：
- 1椰弊，音視頻基礎(chǔ)知識
- 2许溅，音視頻硬解碼流程：封裝基礎(chǔ)解碼框架
- 3，音視頻播放：音視頻同步
- 4秉版，音視頻解封和封裝：生成一個MP4
二贤重、使用OpenGL渲染視頻畫面篇
- 1，初步了解OpenGL ES
- 2清焕，使用OpenGL渲染視頻畫面
- 3并蝗，OpenGL渲染多視頻，實現(xiàn)畫中畫
- 4秸妥，深入了解OpenGL之EGL
- 5滚停，OpenGL FBO數(shù)據(jù)緩沖區(qū)
- 6，Android音視頻硬編碼：生成一個MP4
三粥惧、Android FFmpeg音視頻解碼篇
- 1键畴，F(xiàn)Fmpeg so庫編譯
- 2，Android 引入FFmpeg
- 3突雪，Android FFmpeg視頻解碼播放
- 4起惕，Android FFmpeg＋OpenSL ES音頻解碼播放
- 5，Android FFmpeg＋OpenGL ES播放視頻
- 6咏删，Android FFmpeg簡單合成MP4：視屏解封與重新封裝
- 7惹想，Android FFmpeg視頻編碼
本文你可以了解到
本文主要講解音視頻的解封和封裝過程，但不涉及音視頻的編解碼饵婆，涉及到音視頻編解碼的完整流程勺馆，將在下一篇章講解完OpenGL后。主要是對音視頻的重新封裝有個基本了解侨核。
一、音視頻解封
在本篇章的第二篇文章【音視頻硬解碼流程】灌灾，已經(jīng)講過搓译，Android使用的是MediaExtractor對音視頻數(shù)據(jù)流進行解封。這里锋喜，我們簡單再過一遍些己。
- 第一步，初始化MediaExtractor
init {
mExtractor = MediaExtractor()
mExtractor?.setDataSource(path)
}
- 第二步嘿般，獲取音頻或視頻的格式
/**
* 獲取視頻格式參數(shù)
*/
fun getVideoFormat(): MediaFormat? {
for (i in 0 until mExtractor!!.trackCount) {
val mediaFormat = mExtractor!!.getTrackFormat(i)
val mime = mediaFormat.getString(MediaFormat.KEY_MIME)
if (mime.startsWith("video/")) {
mVideoTrack = i
break
}
}
return if (mVideoTrack >= 0)
mExtractor!!.getTrackFormat(mVideoTrack)
else null
}
/**
* 獲取音頻格式參數(shù)
*/
fun getAudioFormat(): MediaFormat? {
for (i in 0 until mExtractor!!.trackCount) {
val mediaFormat = mExtractor!!.getTrackFormat(i)
val mime = mediaFormat.getString(MediaFormat.KEY_MIME)
if (mime.startsWith("audio/")) {
mAudioTrack = i
break
}
}
return if (mAudioTrack >= 0) {
mExtractor!!.getTrackFormat(mAudioTrack)
} else null
}
- 第三步段标，讀取（分離）音視頻數(shù)據(jù)
/**
* 讀取音視頻數(shù)據(jù)
*/
fun readBuffer(byteBuffer: ByteBuffer): Int {
byteBuffer.clear()
selectSourceTrack()
var readSampleCount = mExtractor!!.readSampleData(byteBuffer, 0)
if (readSampleCount < 0) {
return -1
}
//記錄當前幀的時間戳
mCurSampleTime = mExtractor!!.sampleTime
//進入下一幀
mExtractor!!.advance()
return readSampleCount
}
/**
* 選擇通道
*/
private fun selectSourceTrack() {
if (mVideoTrack >= 0) {
mExtractor!!.selectTrack(mVideoTrack)
} else if (mAudioTrack >= 0) {
mExtractor!!.selectTrack(mAudioTrack)
}
}
二炉奴、音視頻封裝
Android原生提供了一個封裝器MediaMuxer逼庞，用于將已經(jīng)編碼好的音視頻流數(shù)據(jù)封裝到指定格式的文件中，MediaMuxer支持MP4瞻赶、Webm赛糟、3GP三種封裝格式派任。一般使用MP4格式。
使用也比較簡單璧南，同樣分為幾個步驟：
- 第一步掌逛，初始化
class MMuxer {
private val TAG = "MMuxer"
private var mPath: String
private var mMediaMuxer: MediaMuxer? = null
private var mVideoTrackIndex = -1
private var mAudioTrackIndex = -1
private var mIsAudioTrackAdd = false
private var mIsVideoTrackAdd = false
private var mIsStart = false
init {
val fileName = "LVideo_" + SimpleDateFormat("yyyyMM_dd-HHmmss").format(Date()) + ".mp4"
val filePath = Environment.getExternalStorageDirectory().absolutePath.toString() + "/"
mPath = filePath + fileName
mMediaMuxer = MediaMuxer(mPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
}
//......
}
這里指定了視頻并保存路徑和保存的格式。
- 第二步司倚，添加音視頻軌道豆混，設(shè)置音視頻數(shù)據(jù)流格式，并啟動封裝器
class MMuxer {
//......
fun addVideoTrack(mediaFormat: MediaFormat) {
if (mMediaMuxer != null) {
mVideoTrackIndex = try {
mMediaMuxer!!.addTrack(mediaFormat)
} catch (e: Exception) {
e.printStackTrace()
return
}
mIsVideoTrackAdd = true
startMuxer()
}
}
fun addAudioTrack(mediaFormat: MediaFormat) {
if (mMediaMuxer != null) {
mAudioTrackIndex = try {
mMediaMuxer!!.addTrack(mediaFormat)
} catch (e: Exception) {
e.printStackTrace()
return
}
mIsAudioTrackAdd = true
startMuxer()
}
}
/**
*忽略音頻軌道
*/
fun setNoAudio() {
if (mIsAudioTrackAdd) return
mIsAudioTrackAdd = true
startMuxer()
}
/**
*忽略視頻軌道
*/
fun setNoVideo() {
if (mIsVideoTrackAdd) return
mIsVideoTrackAdd = true
startMuxer()
}
private fun startMuxer() {
if (mIsAudioTrackAdd && mIsVideoTrackAdd) {
mMediaMuxer?.start()
mIsStart = true
Log.i(TAG, "啟動混合器动知，等待數(shù)據(jù)輸入...")
}
}
//......
}
在開啟封裝器前崖叫，首先需要設(shè)置音視頻對應(yīng)的數(shù)據(jù)格式，這個格式來源于音視頻解封獲取的那個MediaFormat拍柒，即
MMExtractor#getVideoFormat()
MMExtractor#getAudioFormat()
通過mMediaMuxer!!.addTrack(mediaFormat)后心傀，會返回音視頻數(shù)據(jù)對應(yīng)的軌道索引，用于封裝數(shù)據(jù)時拆讯，將數(shù)據(jù)寫到正確的數(shù)據(jù)軌道中脂男。
最后，判斷音視頻軌道是否都已經(jīng)配置完畢种呐，啟動封裝器宰翅。
- 第三步，寫入數(shù)據(jù)爽室，也很簡單汁讼，將解封得到的數(shù)據(jù)寫入即可。
class MMuexer {
//......
fun writeVideoData(byteBuffer: ByteBuffer, bufferInfo: MediaCodec.BufferInfo) {
if (mIsStart) {
mMediaMuxer?.writeSampleData(mVideoTrackIndex, byteBuffer, bufferInfo)
}
}
fun writeAudioData(byteBuffer: ByteBuffer, bufferInfo: MediaCodec.BufferInfo) {
if (mIsStart) {
mMediaMuxer?.writeSampleData(mAudioTrackIndex, byteBuffer, bufferInfo)
}
}
//......
}
- 第四步阔墩，釋放封裝器嘿架，完成封裝過程
==這一步非常重要，必須要釋放之后啸箫，才能生成可用的完整的MP4文件==
class MMuxer {
//......
fun release() {
mIsAudioTrackAdd = false
mIsVideoTrackAdd = false
try {
mMediaMuxer?.stop()
mMediaMuxer?.release()
mMediaMuxer = null
Log.i(TAG, "混合器退出...")
} catch (e: Exception) {
e.printStackTrace()
}
}
//......
}
三耸彪、整合解封和封裝流程
通過上面兩個步驟，就已經(jīng)完成了最基本的工具封裝忘苛，接下來只需要將它們整合起來就可以了蝉娜。
新建一個重打包類MP4Repack
class MP4Repack(path: String) {
private val TAG = "MP4Repack"
//初始化音視頻分離器
private val mAExtractor: AudioExtractor = AudioExtractor(path)
private val mVExtractor: VideoExtractor = VideoExtractor(path)
//初始化封裝器
private val mMuxer: MMuxer = MMuxer()
/**
*啟動重封裝
*/
fun start() {
val audioFormat = mAExtractor.getFormat()
val videoFormat = mVExtractor.getFormat()
//判斷是否有音頻數(shù)據(jù)，沒有音頻數(shù)據(jù)則告訴封裝器扎唾，忽略音頻軌道
if (audioFormat != null) {
mMuxer.addAudioTrack(audioFormat)
} else {
mMuxer.setNoAudio()
}
//判斷是否有視頻數(shù)據(jù)召川，沒有音頻數(shù)據(jù)則告訴封裝器，忽略視頻軌道
if (videoFormat != null) {
mMuxer.addVideoTrack(videoFormat)
} else {
mMuxer.setNoVideo()
}
//啟動線程
Thread {
val buffer = ByteBuffer.allocate(500 * 1024)
val bufferInfo = MediaCodec.BufferInfo()
//音頻數(shù)據(jù)分離和寫入
if (audioFormat != null) {
var size = mAExtractor.readBuffer(buffer)
while (size > 0) {
bufferInfo.set(0, size, mAExtractor.getCurrentTimestamp(),
mAExtractor.getSampleFlag())
mMuxer.writeAudioData(buffer, bufferInfo)
size = mAExtractor.readBuffer(buffer)
}
}
//視頻數(shù)據(jù)分離和寫入
if (videoFormat != null) {
var size = mVExtractor.readBuffer(buffer)
while (size > 0) {
bufferInfo.set(0, size, mVExtractor.getCurrentTimestamp(),
mVExtractor.getSampleFlag())
mMuxer.writeVideoData(buffer, bufferInfo)
size = mVExtractor.readBuffer(buffer)
}
}
mAExtractor.stop()
mVExtractor.stop()
mMuxer.release()
Log.i(TAG, "MP4 重打包完成")
}.start()
}
}
首先胸遇，定義了音頻和視頻分離器荧呐，以及封裝器；
接著，判斷要重封裝的視頻是否包含有音視頻數(shù)據(jù)坛增，沒有則忽略相應(yīng)的軌道获雕；
最后，啟動線程收捣，開始解封和封裝届案，分為兩部分：
- 音頻數(shù)據(jù)分離和寫入
- 視頻數(shù)據(jù)分離和寫入
其中有一個要注意的就是BufferInfo的參數(shù)
val bufferInfo = MediaCodec.BufferInfo()
bufferInfo.set(0, size, mVExtractor.getCurrentTimestamp(),
mVExtractor.getSampleFlag())
第一個為offset，一般為0
第二個為數(shù)據(jù)大小罢艾，就是Extractor提取的當前幀的數(shù)據(jù)大小
第三個為當前幀對應(yīng)的時間戳楣颠，這個時間戳非常重要，影響到視頻能不能正常播放咐蚯，通過Extractor獲取
第四個為當前幀類型童漩，如視頻I/P/B幀，也可通過Extractor獲取
四春锋、調(diào)用MediaRepack重封裝工具實現(xiàn)重封裝
調(diào)用就非常簡單了矫膨，如下：
private fun repack() {
val path = Environment.getExternalStorageDirectory().absolutePath + "/mvtest_2.mp4"
val repack = MP4Repack(path)
repack.start()
}
到這里，本篇章【音視頻硬解碼篇】系列文章就結(jié)束了期奔，本系列共四篇文章侧馅，從【音視頻基礎(chǔ)知識介紹】->【Android音解碼流程】->【音視頻播放與同步】->【視頻解封與封裝】，比較全面的介紹了Android應(yīng)用系統(tǒng)提供的硬解碼能力呐萌，實現(xiàn)音視頻的解碼馁痴。
接下來，將進入OpenGL渲染篇系列文章肺孤，將進一步介紹音視頻渲染罗晕、重編碼、封裝等內(nèi)容赠堵，敬請關(guān)注小渊。
