從 AVFrame 到渲染成紋理我趟過(guò)的坑

FFmpeg 解碼出來(lái) AVFrame 后镰禾,要渲染出來(lái)正確的圖像志群,還是有不少問(wèn)題的,下面來(lái)看看幾種常見(jiàn)的渲染方式吧(以yuv格式為例)。

使用 AVFrame 的 width,height 直接渲染

在 width 和 lineSize 不一樣的情況下奶陈,渲染出來(lái)的圖像會(huì)有亂碼滞时。

int width - frame->width;
int width = frame->height;
glTexImage2D(texture_y, 0, GL_LUMINANCE, width, height, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[0]);
glTexImage2D(texture_u, 0, GL_LUMINANCE, width/2, height/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[1]);
glTexImage2D(texture_v, 0, GL_LUMINANCE, width/2, height/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[2]);

使用 AVFrame 的 lineSize狗热,height 直接渲染

在 width 和 lineSize 不一樣的情況下驰怎,渲染出來(lái)的圖像會(huì)有綠邊。

int width - frame->width;
int width = frame->height;
glTexImage2D(texture_y, 0, GL_LUMINANCE, frame->linesize[0], height, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[0]);
glTexImage2D(texture_u, 0, GL_LUMINANCE, frame->linesize[1], height/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[1]);
glTexImage2D(texture_v, 0, GL_LUMINANCE, frame->linesize[2], height/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[2]);

裁剪有效數(shù)據(jù)后渲染

直接裁剪內(nèi)存二打,性能開(kāi)銷(xiāo)比較大县忌。

int w - frame->width;
int h = frame->height;
if(y == nullptr){
  y = new unsigned char[w*h];
}
if(u == nullptr){
  u = new unsigned char[w*h/4];
}
if(v == nullptr){
  v = new unsigned char[w*h/4];
}}
int l1 = frame->linesize[0];
int l2 = frame->linesize[1];
int l3 = frame->linesize[2];
for(int i= 0; i < h ; i++)
{
  memcpy(y + w*i,frame->data[0] + l1* i, sizeof( unsigned char)*w);
}
for(int i= 0 ; i < h/2 ; i++)
{
  memcpy(u + w/2*i,frame->data[1] + l2 * i, sizeof(unsigned char)*w/2);
  memcpy(v + w/2*i,frame->data[2] + l3 * i, sizeof(unsigned char)*w/2);
}
glTexImage2D(texture_y, 0, GL_LUMINANCE, w, h, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, y);
glTexImage2D(texture_u, 0, GL_LUMINANCE, w/2, h/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, u);
glTexImage2D(texture_v, 0, GL_LUMINANCE, w/2, h/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, v);

渲染后再進(jìn)行裁剪

按 lineSize 去渲染,渲染的時(shí)候需要改變紋理坐標(biāo)继效。

int width - frame->width;
int width = frame->height;
glTexImage2D(texture_y, 0, GL_LUMINANCE, frame->linesize[0], height, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[0]);
glTexImage2D(texture_u, 0, GL_LUMINANCE, frame->linesize[1], height/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[1]);
glTexImage2D(texture_v, 0, GL_LUMINANCE, frame->linesize[2], height/2, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->data[2]);
float textureCoords[] = {
        0.0f, 0.0f, // bottom left
        0.0f, 1.0f, // top left
        1.0f, 1.0f, // top right
        1.0f, 0.0f, // bottom right
};
textureCoords[5] = 1.0f * width/frame->linesize[0];
textureCoords[7] = 1.0f * width/frame->linesize[0];
glBindBuffer(GL_ARRAY_BUFFER, textureVBO);
glBufferData(GL_ARRAY_BUFFER, sizeof(textureCoords), textureCoords, GL_STATIC_DRAW);
glDrawArrays(GL_TRIANGLE_FAN, 0, 4);

通過(guò)對(duì)比上面的四種渲染方式症杏,我們發(fā)現(xiàn)第四種不僅最高效,而且沒(méi)有異常問(wèn)題瑞信,因此值得推薦厉颤。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市凡简,隨后出現(xiàn)的幾起案子逼友,更是在濱河造成了極大的恐慌,老刑警劉巖秤涩,帶你破解...
    沈念sama閱讀 218,607評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件帜乞,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡筐眷,警方通過(guò)查閱死者的電腦和手機(jī)黎烈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,239評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人照棋,你說(shuō)我怎么就攤上這事资溃。” “怎么了烈炭?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,960評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵溶锭,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我梳庆,道長(zhǎng)暖途,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,750評(píng)論 1 294
  • 正文 為了忘掉前任膏执,我火速辦了婚禮驻售,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘更米。我一直安慰自己欺栗,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,764評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布征峦。 她就那樣靜靜地躺著迟几,像睡著了一般。 火紅的嫁衣襯著肌膚如雪栏笆。 梳的紋絲不亂的頭發(fā)上类腮,一...
    開(kāi)封第一講書(shū)人閱讀 51,604評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音蛉加,去河邊找鬼蚜枢。 笑死,一個(gè)胖子當(dāng)著我的面吹牛针饥,可吹牛的內(nèi)容都是我干的厂抽。 我是一名探鬼主播,決...
    沈念sama閱讀 40,347評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼丁眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼筷凤!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起苞七,我...
    開(kāi)封第一講書(shū)人閱讀 39,253評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤藐守,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后蹂风,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體吗伤,經(jīng)...
    沈念sama閱讀 45,702評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,893評(píng)論 3 336
  • 正文 我和宋清朗相戀三年硫眨,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了足淆。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片巢块。...
    茶點(diǎn)故事閱讀 40,015評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖巧号,靈堂內(nèi)的尸體忽然破棺而出族奢,到底是詐尸還是另有隱情,我是刑警寧澤丹鸿,帶...
    沈念sama閱讀 35,734評(píng)論 5 346
  • 正文 年R本政府宣布越走,位于F島的核電站,受9級(jí)特大地震影響靠欢,放射性物質(zhì)發(fā)生泄漏廊敌。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,352評(píng)論 3 330
  • 文/蒙蒙 一门怪、第九天 我趴在偏房一處隱蔽的房頂上張望骡澈。 院中可真熱鬧,春花似錦掷空、人聲如沸肋殴。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,934評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)护锤。三九已至,卻和暖如春酿傍,著一層夾襖步出監(jiān)牢的瞬間烙懦,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,052評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工赤炒, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留氯析,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,216評(píng)論 3 371
  • 正文 我出身青樓可霎,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親宴杀。 傳聞我的和親對(duì)象是個(gè)殘疾皇子癣朗,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,969評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容