需求
在解碼帶B幀的視頻編碼碼流中,由于B幀的存在,導(dǎo)致parse出來(lái)的數(shù)據(jù)時(shí)間戳本身不是連續(xù)的,因?yàn)锽幀需要可能需要參考后面的幀.因此,解碼完成后需要對(duì)碼流解碼做一個(gè)重排序
實(shí)現(xiàn)原理
首先分析parse出來(lái)的數(shù)據(jù)的時(shí)間戳,后面得出的結(jié)論是除了第一幀時(shí)間戳為0,總體時(shí)間戳是增長(zhǎng)的,后面每4幀為一組,每組中的順序需要重新排序,排序后即可實(shí)現(xiàn)時(shí)間戳連續(xù)遞增.
考慮內(nèi)存開(kāi)銷,我們每次緩存4幀視頻數(shù)據(jù),將其放入線性表中,然后使用排序算法對(duì)這4幀數(shù)據(jù)根據(jù)pts做一個(gè)排序,排好序后即可傳給渲染模塊將其渲染到屏幕上.
注意: 使用FFmpeg硬解無(wú)需關(guān)心排序問(wèn)題,因?yàn)镕Fmpeg內(nèi)部有緩存排序機(jī)制,即從FFmepg拿到解碼后的數(shù)據(jù)可直接渲染.
閱讀前提
- 音視頻基礎(chǔ)
- iOS FFmpeg環(huán)境搭建
- FFmpeg解析視頻數(shù)據(jù)
- VideoToolbox實(shí)現(xiàn)視頻硬解碼
- OpenGL渲染視頻數(shù)據(jù)
- H.264,H.265碼流結(jié)構(gòu)
代碼地址 : iOS解碼關(guān)于視頻中帶B幀排序問(wèn)題
掘金地址 : iOS解碼關(guān)于視頻中帶B幀排序問(wèn)題
簡(jiǎn)書(shū)地址 : iOS解碼關(guān)于視頻中帶B幀排序問(wèn)題
博客地址 : iOS解碼關(guān)于視頻中帶B幀排序問(wèn)題
TODO
因?yàn)槲覀儫o(wú)法判斷碼流中的B幀是否依賴后面的視頻幀,而是 經(jīng)過(guò)分析可得視頻幀的時(shí)間戳是總體增長(zhǎng),每組4幀,需要對(duì)4幀數(shù)據(jù)進(jìn)行排序,目前暫時(shí)未知是否有非4幀一組的視頻幀,如果有則此Demo會(huì)有問(wèn)題,因此如果有了解此方面大神望評(píng)論告知更好的解決方案.
總體架構(gòu)
本文基于已實(shí)現(xiàn)解碼一個(gè)包含帶B幀的H.265碼流文件.因此,這里不對(duì)parse,解碼,渲染做過(guò)多說(shuō)明,如需了解參考閱讀前提中的鏈接.
下面是從FFmpeg parse H.265文件得到的時(shí)間戳,我們可以看到,parse出來(lái)的時(shí)間戳總體是遞增的,除了第一幀時(shí)間戳為0的數(shù)據(jù)外,剩下的時(shí)間戳均以4個(gè)一組,每組內(nèi)時(shí)間戳不是遞增的,因?yàn)榻獯a時(shí)我們?nèi)孕璋凑誔arse出來(lái)的數(shù)據(jù)送去解碼,所以,我們只能對(duì)解碼后的數(shù)據(jù)做一個(gè)排序,即將每組數(shù)據(jù)裝入一個(gè)線性表,然后使用任一一種排序算法對(duì)其排序.
+0800 XDXVideoDecoder[1489:223381] Test - 0.000000
2019-06-25 12:38:09.656282+0800 XDXVideoDecoder[1489:223381] Test - 0.133333
2019-06-25 12:38:09.659350+0800 XDXVideoDecoder[1489:223381] Test - 0.066667
2019-06-25 12:38:09.660900+0800 XDXVideoDecoder[1489:223381] Test - 0.033333
2019-06-25 12:38:09.662889+0800 XDXVideoDecoder[1489:223381] Test - 0.100000
2019-06-25 12:38:09.664786+0800 XDXVideoDecoder[1489:223381] Test - 0.266667
2019-06-25 12:38:09.666900+0800 XDXVideoDecoder[1489:223381] Test - 0.200000
2019-06-25 12:38:09.668196+0800 XDXVideoDecoder[1489:223381] Test - 0.166667
2019-06-25 12:38:09.669825+0800 XDXVideoDecoder[1489:223381] Test - 0.233333
2019-06-25 12:38:09.670368+0800 XDXVideoDecoder[1489:223381] Test - 0.400000
2019-06-25 12:38:09.670948+0800 XDXVideoDecoder[1489:223381] Test - 0.333333
2019-06-25 12:38:09.671806+0800 XDXVideoDecoder[1489:223381] Test - 0.300000
2019-06-25 12:38:09.673082+0800 XDXVideoDecoder[1489:223381] Test - 0.366667
2019-06-25 12:38:09.673899+0800 XDXVideoDecoder[1489:223381] Test - 0.533333
2019-06-25 12:38:09.674961+0800 XDXVideoDecoder[1489:223381] Test - 0.466667
2019-06-25 12:38:09.675637+0800 XDXVideoDecoder[1489:223381] Test - 0.433333
2019-06-25 12:38:09.676451+0800 XDXVideoDecoder[1489:223381] Test - 0.500000
快速使用
- 初始化
- (void)viewDidLoad {
self.sortHandler = [[XDXSortFrameHandler alloc] init];
self.sortHandler.delegate = self;
}
- 在解碼回調(diào)中將解碼出來(lái)數(shù)據(jù)送給排序模塊
- (void)getVideoDecodeDataCallback:(CMSampleBufferRef)sampleBuffer isFirstFrame:(BOOL)isFirstFrame {
if (self.isH265File) {
// Note : the first frame not need to sort.
if (isFirstFrame) {
[self.sortHandler cleanLinkList];
CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
[self.previewView displayPixelBuffer:pix];
return;
}
[self.sortHandler addDataToLinkList:sampleBuffer];
}else {
CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
[self.previewView displayPixelBuffer:pix];
}
}
- 排序后通過(guò)代理方法拿到排過(guò)序的每幀數(shù)據(jù)將其渲染到屏幕
- (void)getSortedVideoNode:(CMSampleBufferRef)sampleBuffer {
int64_t pts = (int64_t)(CMTimeGetSeconds(CMSampleBufferGetPresentationTimeStamp(sampleBuffer)) * 1000);
static int64_t lastpts = 0;
NSLog(@"Test marigin - %lld",pts - lastpts);
lastpts = pts;
[self.previewView displayPixelBuffer:CMSampleBufferGetImageBuffer(sampleBuffer)];
}
具體實(shí)現(xiàn)
1. 定義一個(gè)線性表用來(lái)緩存視頻幀
使用一個(gè)裝有CMSampleBufferRef指針的數(shù)據(jù)來(lái)緩存視頻幀.因?yàn)槊?幀排一次序,所以長(zhǎng)度為4,使用索引Index記錄每個(gè)視頻幀的位置.
const static int g_maxSize = 4;
struct XDXSortLinkList {
CMSampleBufferRef dataArray[g_maxSize];
int index;
};
2. 初始化
@interface XDXSortFrameHandler ()
{
XDXSortLinkList _sortLinkList;
}
......
- (instancetype)init {
if (self = [super init]) {
XDXSortLinkList linkList = {
.index = 0,
.dataArray = {0},
};
_sortLinkList = linkList;
}
return self;
}
3.將視頻幀存入線性表
CMSampleBufferRef實(shí)際即為一個(gè)指針,首先使用CFRetain函數(shù)使其引用計(jì)數(shù)+1以維持我們使用期間視頻幀不會(huì)被銷毀,當(dāng)線性表沒(méi)有裝滿前一直為其添加視頻幀,當(dāng)線性表裝滿后使用插入排序?qū)ζ溥M(jìn)行排序,排好后將數(shù)據(jù)依次以代理方法的形式傳出以供渲染模塊使用.使用完成后使用CFRelease減少原始數(shù)據(jù)的引用計(jì)數(shù).
- (void)addDataToLinkList:(CMSampleBufferRef)sampleBufferRef {
CFRetain(sampleBufferRef);
_sortLinkList.dataArray[_sortLinkList.index] = sampleBufferRef;
_sortLinkList.index++;
if (_sortLinkList.index == g_maxSize) {
_sortLinkList.index = 0;
// sort
[self selectSortWithLinkList:&_sortLinkList];
for (int i = 0; i < g_maxSize; i++) {
if ([self.delegate respondsToSelector:@selector(getSortedVideoNode:)]) {
[self.delegate getSortedVideoNode:_sortLinkList.dataArray[i]];
CFRelease(_sortLinkList.dataArray[i]);
_sortLinkList.dataArray[i] = NULL;
}
}
}
}
- (void)selectSortWithLinkList:(XDXSortLinkList *)sortLinkList {
for (int i = 0; i < g_maxSize; i++) {
int64_t minPTS = i;
for (int j = i + 1; j < g_maxSize; j++) {
if ([self getPTS:sortLinkList->dataArray[j]] < [self getPTS:sortLinkList->dataArray[minPTS]]) {
minPTS = j;
}
}
if (i != minPTS) {
void *tmp = sortLinkList->dataArray[i];
sortLinkList->dataArray[i] = sortLinkList->dataArray[minPTS];
sortLinkList->dataArray[minPTS] = tmp;
}
}
}
- (int64_t)getPTS:(CMSampleBufferRef)sampleBufferRef {
int64_t pts = (int64_t)(CMTimeGetSeconds(CMSampleBufferGetPresentationTimeStamp(sampleBufferRef)) * 1000);
return pts;
}
- (void)cleanLinkList {
_sortLinkList.index = 0;
for (int i = 0; i < g_maxSize; i++) {
if (CMSampleBufferIsValid(_sortLinkList.dataArray[i])) {
CFRelease(_sortLinkList.dataArray[i]);
}
_sortLinkList.dataArray[i] = NULL;
}
}
