1. 背景介紹

B站：Android音視頻開發(fā)全系列視頻教程：https://www.bilibili.com/video/BV1fb4y1d7JU
音視頻開發(fā)全系列教程——PDF資料

15年移動端直播應(yīng)用火起來的時候修陡，主要的直播協(xié)議是RTMP奸汇，多媒體服務(wù)以Adobe的AMS涮阔、wowza念脯、Red5、crtmpserver淫痰、nginx rtmp module等暑刃，后面過長RTMP服務(wù)SRS開始流行。Android端播放器主要以開始以EXOPlayer播放HLS蟋座，但是HLS有延遲高的確定拗踢，隨后大家主要使用開源的ijkplyer，ijkplayer通過ffmpeg進行拉流及解碼蜈七，支持多種音視頻編碼秒拔，還有跨平臺，API與系統(tǒng)播放器保持一致等特征飒硅，后續(xù)各大廠提供的直播SDK均有ijkplayer身影砂缩。

當時在做一款游戲SDK，SDK主要提供了游戲畫面聲音采集三娩、音視頻編解碼庵芭、直播推流、直播拉流播放等雀监，SDK為游戲提供直播功能双吆，播放也是采用了現(xiàn)成的ijkplayer播放器。但是SDK推廣的時候遇到了問題会前，游戲廠家嫌棄SDK體積大（其實總共也就3Mb左右）好乐，我們需要一款體積小，性能高的播放器瓦宜，由于開發(fā)成本的原因一直沒有時間做蔚万，后面換工作期間，花了一個月時間把這款播放器開發(fā)出來临庇，并開源了出來反璃。oarplayer 是基于MediaCodec與srs-librtmp,完全不依賴ffmpeg昵慌，純C語言實現(xiàn)的播放器。本文主要介紹這款播放器的實現(xiàn)思路淮蜈。

2. 整體架構(gòu)設(shè)計

播放器整體播放流程如下：

通過srs-librtmp拉取直播流斋攀，通過package type分離音視頻流，將package數(shù)據(jù)緩存到package隊列梧田，解碼線程不斷從package隊列讀取package交由解碼器解碼淳蔼，解碼器將解碼后的frame存儲到frame隊列，opensles播放線程與opengles渲染線程從frame隊列讀取frame播放與渲染裁眯，這里還涉及到音視頻同步肖方。

播放器主要涉及了以下線程：

1. rtmp拉流線程；
2. 音頻解碼線程未状；
3. 視頻解碼線程；
4. 音頻播放線程析桥；
5. 視頻渲染線程司草；
6. JNI回調(diào)線程。

3. API接口設(shè)計

通過以下幾步即可完成rtmp播放:

1. 實例化OARPlayer:OARPlayer player = new OARPlayer();
2. 設(shè)置視頻源:player.setDataSource(rtmp_url);
3. 設(shè)置surface:player.setSurface(surfaceView.getHolder());
4. 開始播放:player.start();
5. 停止播放:player.stop();
6. 釋放資源:player.release();

Java層方法封裝了JNI層方法泡仗，JNI層封裝調(diào)用了對應(yīng)的具體功能埋虹。

4. rtmp拉流線程

oarplayer使用的是srs-librtmp，srs-librtmp是從SRS服務(wù)器導(dǎo)出的一個客戶端庫娩怎，作者提供srs-librtmp初衷是：

1. 覺得rtmpdump/librtmp的代碼太難讀了搔课，而SRS的代碼可讀性很好；
2. 壓測工具srs-bench是個客戶端截亦，需要一個客戶端庫爬泥；
3. 覺得服務(wù)器能搞好，客戶端也不在話下

目前srs-librtmp作者已經(jīng)停止維護崩瓤，主要原因如作者所說：

決定開源項目正義的絕對不是技術(shù)多好袍啡，而是能跑多久。技術(shù)很牛却桶，性能很強境输，代碼風(fēng)格很好，固然是個好事颖系，但是這些都頂不上一個“不維護”的大罪過嗅剖，代碼放出來不維護，怎么跟進業(yè)內(nèi)技術(shù)的不斷發(fā)展呢嘁扼。而決定能跑多久的信粮，首先是技術(shù)熱情，然后是維護者的領(lǐng)域背景偷拔。SRS的維護者都是服務(wù)器背景蒋院，大家的工作都是在服務(wù)器亏钩，客戶端經(jīng)驗太少了，無法長久維護客戶端的庫欺旧。因此姑丑，SRS決定果斷放棄srs-librtmp，不再維護客戶端庫辞友，聚焦于服務(wù)器的快速迭代栅哀。客戶端并非不重要称龙，而是要交給專業(yè)的客戶端的開源項目和朋友維護留拾，比如FFmpeg也自己實現(xiàn)了librtmp。

oarplayer當初使用srs-librtmp是基于srs-librtmp代碼的可讀性考慮鲫尊。oarplayer有相當高的模塊化特性痴柔，可以很方便的替換各個rtmp lib實現(xiàn)。這里介紹srs-librtmp接口：

1. 創(chuàng)建srs_rtmp_t對象：srs_rtmp_create(url);
2. 設(shè)置讀寫超時時間：srs_rtmp_set_timeout;
3. 開始握手：srs_rtmp_handshake;
4. 開始連接：srs_rtmp_connect_app;
5. 設(shè)置播放模式：srs_rtmp_play_stream;
6. 循環(huán)讀取音視頻包：srs_rtmp_read_packet(rtmp, &type, &timestamp, &data, &size);
7. 解析音頻包：
   1. 獲取編碼類型：srs_utils_flv_audio_sound_format;
   2. 獲取音頻采樣率：srs_utils_flv_audio_sound_rate;
   3. 獲取采樣位深：srs_utils_flv_audio_sound_size;
   4. 獲取聲道數(shù)：srs_utils_flv_audio_sound_type;
   5. 獲取音頻包類型：srs_utils_flv_audio_aac_packet_type;
8. 解析視頻包：
   1. 獲取編碼類型：srs_utils_flv_video_codec_id;
   2. 是否關(guān)鍵幀：srs_utils_flv_video_frame_type;
   3. 獲取視頻包類型：srs_utils_flv_video_avc_packet_type;
9. 解析metadata類型疫向；
10. 銷毀srs_rtmp_t對象：srs_rtmp_destroy;

這里有個小技巧咳蔚，我們在拉流線程中，循環(huán)調(diào)用srs_rtmp_read_packet方法搔驼，可以通過srs_rtmp_set_timeout設(shè)置超時時間谈火，但是如果超時時間設(shè)置的太短，會導(dǎo)致頻繁的喚起線程舌涨，如果設(shè)置超時時間太長糯耍，我們在停止時，必須等待超時結(jié)束才會能真正結(jié)束囊嘉。這里我們可以使用poll模型温技，將rtmp的tcp socket放入poll中，再放入一個管道fd扭粱，在需要停止時向管道寫入一個指令荒揣，喚醒poll，直接停止rtmp拉流線程焊刹。

5. 主要數(shù)據(jù)結(jié)構(gòu)

5.1 package結(jié)構(gòu)：

typedef struct OARPacket {
    int size;//包大小
    PktType_e type;//包類型
    int64_t dts;//解碼時間戳
    int64_t pts;//顯示時間戳
    int isKeyframe;//是否關(guān)鍵幀
    struct OARPacket *next;//下一個包地址
    uint8_t data[0];//包數(shù)據(jù)內(nèi)容
}OARPacket;

5.2 package隊列：

typedef struct oar_packet_queue {
    PktType_e media_type;//類型
    pthread_mutex_t *mutex;//線程鎖
    pthread_cond_t *cond;//條件變量
    OARPacket *cachedPackets;//隊列首地址
    OARPacket *lastPacket;//隊列最后一個元素

    int count;//數(shù)量
    int total_bytes;//總字節(jié)數(shù)
    uint64_t max_duration;//最大時長

    void (*full_cb)(void *);//隊列滿回調(diào)

    void (*empty_cb)(void *);//隊列為空回調(diào)

    void *cb_data;
} oar_packet_queue;

5.3 Frame類型

typedef struct OARFrame {
    int size;//幀大小
    PktType_e type;//幀類型
    int64_t dts;//解碼時間戳
    int64_t pts;//顯示時間戳
    int format;//格式（用于視頻）
    int width;//寬（用于視頻）
    int height;//高（用于視頻）
    int64_t pkt_pos;
    int sample_rate;//采樣率(用于音頻)
    struct OARFrame *next;
    uint8_t data[0];
}OARFrame;

5.4 Frame隊列

typedef struct oar_frame_queue {
    pthread_mutex_t *mutex;
    pthread_cond_t *cond;
    OARFrame *cachedFrames;
    OARFrame *lastFrame;
    int count;//幀數(shù)量
    unsigned int size;
} oar_frame_queue;

6. 解碼線程

我們的rtmp流拉取系任、解碼、渲染虐块、音頻輸出都在C層實現(xiàn)俩滥。在C層，Android 21之后系統(tǒng)提供了AMediaCodec接口贺奠，我們直接find_library(media-ndk mediandk),并引入<media/NdkMediaCodec.h>頭文件即可霜旧。對于Android 21之前版本，可以在C層調(diào)用Java層的MediaCodec儡率。下面分別介紹兩種實現(xiàn)：

6.1 Java層代理解碼

Java層MediaCodec解碼使用步驟：

1. 創(chuàng)建解碼器：codec = MediaCodec.createDecoderByType(codecName);
2. 配置解碼器格式：codec.configure(format, null, null, 0);
3. 啟動解碼器：codec.start()
4. 獲取解碼輸入緩存ID：dequeueInputBuffer
5. 獲取解碼輸入緩存：getInputBuffer
6. 獲取解碼輸出緩存：dequeueOutputBufferIndex
7. 釋放輸出緩存：releaseOutPutBuffer
8. 停止解碼器：codec.stop();

Jni層封裝對應(yīng)的調(diào)用接口即可挂据。

6.2 C層解碼器使用

C層接口介紹：

1. 創(chuàng)建Format：AMediaFormat_new;
2. 創(chuàng)建解碼器：AMediaCodec_createDecoderByType;
3. 配置解碼參數(shù)：AMediaCodec_configure;
4. 啟動解碼器：AMediaCodec_start;
5. 輸入音視頻包：
   1. 獲取輸入buffer序列：AMediaCodec_dequeueInputBuffer
   2. 獲取輸入buffer：AMediaCodec_getInputBuffer
   3. 拷貝數(shù)據(jù)：memcpy
   4. 輸入buffer放入解碼器：AMediaCodec_queueInputBuffer
6. 獲取解碼后幀：
   1. 獲取輸出buffer序列：AMediaCodec_dequeueOutputBuffer
   2. 獲取輸出buffer：AMediaCodec_getOutputBuffer

我們發(fā)現(xiàn)不管是Java層還是C層的接口都是提供了類似的思路以清，其實他們最終調(diào)用的還是系統(tǒng)的解碼框架。

這里我們可以根據(jù)系統(tǒng)版本來覺得使用Java層接口和C層接口崎逃，我們的oarplayer掷倔，主要的代碼都是在C層實現(xiàn)耙饰，所以我們也有限使用C層接口外邓。

7. 音頻輸出線程

音頻輸出我們使用opensl實現(xiàn)换况，之前文章介紹過Android音頻架構(gòu)竟痰，其實也可以使用AAudio或者Oboe。這里再簡單介紹下opensl es的使用侠坎。

1. 創(chuàng)建引擎：slCreateEngine(&engineObject, 0, NULL, 0, NULL, NULL);
2. 實現(xiàn)引擎：(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);
3. 獲取接口：(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineEngine);
4. 創(chuàng)建輸出混流器：(*engineEngine)->CreateOutputMix(engineEngine, &outputMixObject, 0, NULL, NULL);;
5. 實現(xiàn)混流器：(*outputMixObject)->Realize(outputMixObject, SL_BOOLEAN_FALSE);
6. 配置音頻源：SLDataLocator_AndroidSimpleBufferQueue loc_bufq = {SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE, 2};
7. 配置Format：SLDataFormat_PCM format_pcm = {SL_DATAFORMAT_PCM, channel, SL_SAMPLINGRATE_44_1,SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16,SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, SL_BYTEORDER_LITTLEENDIAN};
8. 創(chuàng)建播放器：(*engineEngine)->CreateAudioPlayer(engineEngine,&bqPlayerObject, &audioSrc, &audioSnk,2, ids, req);
9. 實現(xiàn)播放器：(*bqPlayerObject)->Realize(bqPlayerObject, SL_BOOLEAN_FALSE);
10. 獲取播放接口：(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_PLAY, &bqPlayerPlay);
11. 獲取緩沖區(qū)接口：(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_ANDROIDSIMPLEBUFFERQUEUE,&bqPlayerBufferQueue);
12. 注冊緩存回調(diào)：(*bqPlayerBufferQueue)->RegisterCallback(bqPlayerBufferQueue, bqPlayerCallback, oar);
13. 獲取音量調(diào)節(jié)器：(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_VOLUME, &bqPlayerVolume);
14. 緩存回調(diào)中不斷的從音頻幀隊列讀取數(shù)據(jù)庄新，并寫入緩存隊列：(*bqPlayerBufferQueue)->Enqueue(bqPlayerBufferQueue, ctx->buffer,(SLuint32)ctx->frame_size);

上面就是音頻播放的opensl es接口使用介紹偿短。

8. 渲染線程

相比較于音頻播放广恢，視頻渲染可能更復(fù)雜一些凯旋，除了opengl引擎創(chuàng)建，opengl線程創(chuàng)建钉迷，oarplayer使用的是基于音頻的同步方式瓦阐，所以在視頻渲染時還需要考慮音視頻同步問題。

8.1 OpenGL引擎創(chuàng)建

1. 生成buffer：glGenBuffers
2. 綁定buffer：glBindBuffer(GL_ARRAY_BUFFER, model->vbos[0])
3. 設(shè)置清屏色：glClearColor
4. 創(chuàng)建紋理對象：texture2D
5. 創(chuàng)建著色器對象：glCreateShader
6. 設(shè)置著色器源碼：glShaderSource
7. 編譯著色器源碼：glCompileShader
8. 附著著色器：glAttachShader
9. 連接著色器：glLinkProgram

opengl與硬件交互還需要EGL環(huán)境篷牌，下面展示EGL初始化流程代碼：

static void init_egl(oarplayer * oar){
    oar_video_render_context *ctx = oar->video_render_ctx;
    const EGLint attribs[] = {EGL_SURFACE_TYPE, EGL_WINDOW_BIT, EGL_RENDERABLE_TYPE,
                              EGL_OPENGL_ES2_BIT, EGL_BLUE_SIZE, 8, EGL_GREEN_SIZE, 8, EGL_RED_SIZE,
                              8, EGL_ALPHA_SIZE, 8, EGL_DEPTH_SIZE, 0, EGL_STENCIL_SIZE, 0,
                              EGL_NONE};
    EGLint numConfigs;
    ctx->display = eglGetDisplay(EGL_DEFAULT_DISPLAY);
    EGLint majorVersion, minorVersion;
    eglInitialize(ctx->display, &majorVersion, &minorVersion);
    eglChooseConfig(ctx->display, attribs, &ctx->config, 1, &numConfigs);
    ctx->surface = eglCreateWindowSurface(ctx->display, ctx->config, ctx->window, NULL);
    EGLint attrs[] = {EGL_CONTEXT_CLIENT_VERSION, 2, EGL_NONE};
    ctx->context = eglCreateContext(ctx->display, ctx->config, NULL, attrs);
    EGLint err = eglGetError();
    if (err != EGL_SUCCESS) {
        LOGE("egl error");
    }
    if (eglMakeCurrent(ctx->display, ctx->surface, ctx->surface, ctx->context) == EGL_FALSE) {
        LOGE("------EGL-FALSE");
    }
    eglQuerySurface(ctx->display, ctx->surface, EGL_WIDTH, &ctx->width);
    eglQuerySurface(ctx->display, ctx->surface, EGL_HEIGHT, &ctx->height);
    initTexture(oar);

    oar_java_class * jc = oar->jc;
    JNIEnv * jniEnv = oar->video_render_ctx->jniEnv;
    jobject surface_texture = (*jniEnv)->CallStaticObjectMethod(jniEnv, jc->SurfaceTextureBridge, jc->texture_getSurface, ctx->texture[3]);
    ctx->texture_window = ANativeWindow_fromSurface(jniEnv, surface_texture);

}

8.2 音視頻同步

常見的音視頻同步有三種：

1. 基于視頻同步；
2. 基于音頻同步踏幻；
3. 基于第三方時間戳同步枷颊。

這里我們使用基于音頻幀同步的方法，渲染畫面時该面，判斷音頻時間戳diff與視頻畫面渲染周期夭苗，如果大于周期，則等待隔缀，如果大于0小于周期题造，如果小于0則立馬繪制。

下面展示渲染代碼：

/**
 *
 * @param oar
 * @param frame
 * @return  0   draw
 *         -1   sleep 33ms  continue
 *         -2   break
 */
static inline int draw_video_frame(oarplayer *oar) {
    // 上一次可能沒有畫猾瘸， 這種情況就不需要取新的了
    if (oar->video_frame == NULL) {
        oar->video_frame = oar_frame_queue_get(oar->video_frame_queue);
    }
    // buffer empty  ==> sleep 10ms , return 0
    // eos           ==> return -2
    if (oar->video_frame == NULL) {
        _LOGD("video_frame is null...");
        usleep(BUFFER_EMPTY_SLEEP_US);
        return 0;

    }
    int64_t time_stamp = oar->video_frame->pts;

    int64_t diff = 0;
    if(oar->metadata->has_audio){
        diff = time_stamp - (oar->audio_clock->pts + oar->audio_player_ctx->get_delta_time(oar->audio_player_ctx));
    }else{
        diff = time_stamp - oar_clock_get(oar->video_clock);
    }
    _LOGD("time_stamp:%lld, clock:%lld, diff:%lld",time_stamp , oar_clock_get(oar->video_clock), diff);
    oar_model *model = oar->video_render_ctx->model;

    // diff >= 33ms if draw_mode == wait_frame return -1
    //              if draw_mode == fixed_frequency draw previous frame ,return 0
    // diff > 0 && diff < 33ms  sleep(diff) draw return 0
    // diff <= 0  draw return 0
    if (diff >= WAIT_FRAME_SLEEP_US) {
        if (oar->video_render_ctx->draw_mode == wait_frame) {
            return -1;
        } else {
            draw_now(oar->video_render_ctx);
            return 0;
        }
    } else {
        // if diff > WAIT_FRAME_SLEEP_US   then  use previous frame
        // else  use current frame   and  release frame
//        LOGI("start draw...");
        pthread_mutex_lock(oar->video_render_ctx->lock);
        model->update_frame(model, oar->video_frame);
        pthread_mutex_unlock(oar->video_render_ctx->lock);
        oar_player_release_video_frame(oar, oar->video_frame);

        JNIEnv * jniEnv = oar->video_render_ctx->jniEnv;
        (*jniEnv)->CallStaticVoidMethod(jniEnv, oar->jc->SurfaceTextureBridge, oar->jc->texture_updateTexImage);
        jfloatArray texture_matrix_array = (*jniEnv)->CallStaticObjectMethod(jniEnv, oar->jc->SurfaceTextureBridge, oar->jc->texture_getTransformMatrix);
        (*jniEnv)->GetFloatArrayRegion(jniEnv, texture_matrix_array, 0, 16, model->texture_matrix);
        (*jniEnv)->DeleteLocalRef(jniEnv, texture_matrix_array);

        if (diff > 0) usleep((useconds_t) diff);
        draw_now(oar->video_render_ctx);
        oar_clock_set(oar->video_clock, time_stamp);
        return 0;
    }
}

9. 總結(jié)

本文基于Android端的RTMP播放器實現(xiàn)過程界赔，介紹了RTMP推拉流庫、Android MediaCodec Java層與C層接口牵触、OpenSL ES接口淮悼、OpenGL ES接口、EGL接口揽思、以及音視頻相關(guān)知識袜腥。
最后給大家分享一個B站的音視頻系列視頻教程：
Android音視頻開發(fā)全系列教程
音視頻開發(fā)全系列教程——PDF資料