1仿便、概念
由于視頻播放器中音頻和視頻是分別播放和渲染的体啰，就會出現(xiàn)聲音和畫面不同步的現(xiàn)象攒巍。為了使同一時刻聲音和畫面的一致性，我們就需要音視頻同步來實現(xiàn)荒勇，這就是音視頻同步柒莉。
2、播放時間
2.1沽翔、音頻播放時間
音頻播放的時長是PCM數(shù)據(jù)決定的兢孝，根據(jù)數(shù)據(jù)大小和采樣率、通道數(shù)和位深度就能計算出播放的時長仅偎。只要采樣率跨蟹、通道數(shù)、位深度不變橘沥，揚聲器播放同一段PCM數(shù)據(jù)的時間就是固定不變的窗轩。
2.2、視頻播放時間
視頻其實沒有播放時長的概念座咆，只有相鄰視頻畫面幀直接的時間間隔品姓，調整時間間隔就能改變視頻畫面的渲染速度，來實現(xiàn)視頻的快慢控制箫措。
3、音視頻同步方法：
第一種：音頻線性播放衬潦，視頻同步到音頻上斤蔓。
第二種：視頻線性播放，音頻同步到視頻上镀岛。
第三種：用一個外部線性時間弦牡，音頻和視頻都同步到這個外部時間上。
由于人們對聲音更敏感漂羊，視頻畫面的一會兒快一會兒慢是察覺不出來的驾锰。而
聲音的節(jié)奏變化是很容易察覺的。所以我們這里采用第一種方式來同步音視頻走越。
4椭豫、音視頻同步實現(xiàn)：
4.1、PTS和time_base
PTS即顯示時間戳旨指，這個時間戳用來告訴播放器該在什么時候顯示這一幀的數(shù)據(jù)赏酥。
time_base即時間度量單位（時間基），可以類比：米谆构、千克這種單位裸扶。
4.2、分別獲取音頻和視頻的PTS（播放時間戳）：
PTS = avFrame->pts * av_q2d(avStream->time_base);
4.3搬素、獲取音視頻PTS差值呵晨，根據(jù)差值來設置視頻的睡眠時間達到和音頻的相對同步魏保。
視頻快了就休眠久點，視頻慢了就休眠少點摸屠，來達到同步谓罗。
5、實現(xiàn)
5.1餐塘、JfVideo.h在Video中拿到Audio對象
class JfVideo {
public:
...
JfAudio *audio;
...
public:
...
};
初始化時賦值
void JfFFmpeg::start() {
if (audio == NULL) {
if (LOG_DEBUG){
LOGE("AUDIO == NULL");
}
}
if (video == NULL) {
if (LOG_DEBUG){
LOGE("VIDEO == NULL");
}
}
video->audio = audio;
audio->play();
video->play();
...
5.2妥衣、獲取音視頻PTS差值
double getFrameDiffTime(AVFrame *avFrame);
/**
* 當前幀的AVFrame
*/
double JfVideo::getFrameDiffTime(AVFrame *avFrame) {
//獲取當前幀的pts
double pts = av_frame_get_best_effort_timestamp(avFrame);
if (pts == AV_NOPTS_VALUE){//判斷是否有效
pts = 0;
}
double timestamp = pts * av_q2d(time_base);//time_base是流的time_base，用來計算這幀在整個視頻中的時間位置
if (timestamp > 0){
clock = timestamp;
}
double diff = audio->clock - clock;
return diff;
}
5.3戒傻、實現(xiàn)同步
double JfVideo::getDelayTime(double diff) {
if (diff > 0.003){//音頻播放比視頻快0.003税手，讓視頻播放快點
delayTime = delayTime * 2 / 3;//讓視頻渲染時sleep略長的時間,但是可能會導致視頻播放的越來越快
if (delayTime < defaultDelayTime / 2){
delayTime = defaultDelayTime * 2 / 3;
} else if (delayTime > defaultDelayTime * 2){
delayTime = defaultDelayTime * 2;
}
} else if (diff < -0.003){//音頻播放比視頻慢0.003，讓視頻播放慢點
delayTime = delayTime * 3 / 2;//讓視頻渲染時sleep略長的時間,但是可能會導致視頻播放的越來越慢
if (delayTime < defaultDelayTime / 2){
delayTime = defaultDelayTime * 2 / 3;
} else if (delayTime > defaultDelayTime * 2){
delayTime = defaultDelayTime * 2;
}
} else if (diff == 0.003){
}
if (diff >= 0.5){
delayTime = 0;
} else if (diff <= -0.5){
delayTime = defaultDelayTime * 2;
}
if (fabs(diff) >= 10){//音頻不存在
delayTime = defaultDelayTime;
}
return delayTime;
}
5.4需纳、視頻渲染速度調節(jié)
void *playVideo(void *data){
JfVideo *video = (JfVideo *)data;
while (video->playStatus != NULL && !video->playStatus->exit){
if (video->playStatus->seeking){
av_usleep(1000 * 100);
continue;
}
if (video->queue->getQueueSize() == 0){//加載狀態(tài)
if (!video->playStatus->loading){
video->playStatus->loading = true;
video->callJava->onCallLoading(CHILD_THREAD, true);
LOGD("VIDEO加載狀態(tài)");
}
av_usleep(1000 * 100);
continue;
} else {
if (video->playStatus->loading){
video->playStatus->loading = false;
video->callJava->onCallLoading(CHILD_THREAD, false);
LOGD("VIDEO播放狀態(tài)");
}
}
/*AVPacket *avPacket = av_packet_alloc();
if (video->queue->getAVPacket(avPacket) == 0){
//解碼渲染
LOGD("線程中獲取視頻AVPacket");
}
av_packet_free(&avPacket);//AVPacket中的第一個參數(shù)芦倒，就是引用，減到0才真正釋放
av_free(avPacket);
avPacket = NULL;*/
AVPacket *avPacket = av_packet_alloc();
if (video->queue->getAVPacket(avPacket) != 0){
av_packet_free(&avPacket);//AVPacket中的第一個參數(shù)不翩，就是引用兵扬，減到0才真正釋放
av_free(avPacket);
avPacket = NULL;
continue;
}
if (avcodec_send_packet(video->pVCodecCtx,avPacket) != 0){
av_packet_free(&avPacket);//AVPacket中的第一個參數(shù)，就是引用口蝠，減到0才真正釋放
av_free(avPacket);
avPacket = NULL;
continue;
}
AVFrame *avFrame = av_frame_alloc();
if (avcodec_receive_frame(video->pVCodecCtx,avFrame) != 0){
av_frame_free(&avFrame);
av_free(avFrame);
avFrame = NULL;
av_packet_free(&avPacket);//AVPacket中的第一個參數(shù)器钟，就是引用，減到0才真正釋放
av_free(avPacket);
avPacket = NULL;
continue;
}
if (LOG_DEBUG){
LOGD("子線程解碼一個AVFrame成功");
}
if (avFrame->format == AV_PIX_FMT_YUV420P){
//直接渲染
LOGD("YUV420P");
double diff = video->getFrameDiffTime(avFrame);
LOGD("DIFF IS %f",diff);
av_usleep(video->getDelayTime(diff) * 1000000);
video->callJava->onCallRenderYUV(
CHILD_THREAD,
video->pVCodecCtx->width,
video->pVCodecCtx->height,
avFrame->data[0],
avFrame->data[1],
avFrame->data[2]);
} else {
//轉成YUV420P
AVFrame *pFrameYUV420P = av_frame_alloc();
int num = av_image_get_buffer_size(AV_PIX_FMT_YUV420P,video->pVCodecCtx->width,video->pVCodecCtx->height,1);
uint8_t *buffer = (uint8_t *)(av_malloc(num * sizeof(uint8_t)));
av_image_fill_arrays(
pFrameYUV420P->data,
pFrameYUV420P->linesize,
buffer,
AV_PIX_FMT_YUV420P,
video->pVCodecCtx->width,
video->pVCodecCtx->height,
1);
SwsContext *sws_ctx = sws_getContext(
video->pVCodecCtx->width,
video->pVCodecCtx->height,
video->pVCodecCtx->pix_fmt,
video->pVCodecCtx->width,
video->pVCodecCtx->height,
AV_PIX_FMT_YUV420P,
SWS_BICUBIC,
NULL,NULL,NULL
);
if (!sws_ctx){
av_frame_free(&pFrameYUV420P);
av_free(pFrameYUV420P);
av_free(buffer);
continue;
}
sws_scale(
sws_ctx,
avFrame->data,
avFrame->linesize,
0,
avFrame->height,
pFrameYUV420P->data,
pFrameYUV420P->linesize);//這里得到YUV數(shù)據(jù)
LOGD("NO_YUV420P");
//渲染
double diff = video->getFrameDiffTime(avFrame);
LOGD("DIFF IS %f",diff);
av_usleep(video->getDelayTime(diff) * 1000000);
video->callJava->onCallRenderYUV(
CHILD_THREAD,
video->pVCodecCtx->width,
video->pVCodecCtx->height,
pFrameYUV420P->data[0],
pFrameYUV420P->data[1],
pFrameYUV420P->data[2]);
av_frame_free(&pFrameYUV420P);
av_free(pFrameYUV420P);
av_free(buffer);
sws_freeContext(sws_ctx);
}
av_frame_free(&avFrame);
av_free(avFrame);
avFrame = NULL;
av_packet_free(&avPacket);//AVPacket中的第一個參數(shù)妙蔗，就是引用傲霸，減到0才真正釋放
av_free(avPacket);
avPacket = NULL;
}
pthread_exit(&video->thread_play);
}
