原文網(wǎng)址(轉(zhuǎn)載自長(zhǎng)江很多號(hào)): ffmpeg filter過(guò)濾器 基礎(chǔ)實(shí)例及全面解析

目錄

• 目錄

• 什么是ffmpeg filter

• 如何使用ffmpeg filter

  • • 1 將輸入的1920x1080縮小到960x540輸出
    • 2 為視頻添加logo
    • 3 去掉視頻的logo

• 自己寫(xiě)一個(gè)過(guò)濾器

• filter的結(jié)構(gòu)體

• filter_frame調(diào)用流程

  • • 1 decode_video ffmpegc
    • 2 av_buffersrc_add_frame_flagsbuffersrcc
    • 3 av_buffersrc_add_frame_internal buffersrcc
    • 4 request_frame buffersrcc
    • 5 ff_filter_frame avfilterc
    • 6 ff_filter_frame_framed avfilterc
    • 7 filter_frame vf_transformc當(dāng)然啦ffmpeg定義的各種filter比如vf_colorbalancecvf_scalec等也有這個(gè)函數(shù)流程一樣的
    • 8 再次走進(jìn)ff_filter_frame avfilterc
    • 9 default_filter_frame avfilterc
    • 10 第三次走進(jìn)ff_filter_frame avfilterc
    • 11 filter_frame buffersinkc

• filter之后ffmpeg如何編碼

• • 1 reap_filters ffmpegc
  • 2 do_video_out ffmpegc

• 函數(shù)流程圖

• 參考資料

1. 什么是ffmpeg filter摔敛？
   首先是名字：中文名撕彤，就稱(chēng)為ffmpeg過(guò)濾器慎陵，當(dāng)然也有人稱(chēng)為ffmpeg 濾鏡帐要。（用濾鏡聽(tīng)起來(lái)好像是給video用的，所以不太好溅潜，因?yàn)閍udio也可以用）
   ffmpeg目錄下饱须，有個(gè)文件夾叫l(wèi)ibavfilter，它可以單獨(dú)編譯為一個(gè)庫(kù)吹散。干嘛用的呢弧械？用于音視頻過(guò)濾。
   比如空民，我有一個(gè)mp4刃唐，想把它縮小一半，輸出一個(gè)新的mp4界轩，那么画饥，做縮小動(dòng)作的，就是libavfilter浊猾。
   是不是想查看ffmpeg有多少filter抖甘？用下面的命令。
   ./ffmpeg -filters

2. 如何使用ffmpeg filter
   filter的使用很簡(jiǎn)單葫慎。下面就舉兩個(gè)例子衔彻。

2.1 將輸入的1920x1080縮小到960x540輸出:
./ffmpeg -i input.mp4 -vf scale=960:540 output.mp4
//ps: 如果540不寫(xiě)薇宠，寫(xiě)成-1，即scale=960:-1, 那也是可以的艰额，ffmpeg會(huì)通知縮放濾鏡在輸出時(shí)保持原始的寬高比澄港。

2.2 為視頻添加logo
比如，我有這么一個(gè)圖片

logo.png

想要貼到一個(gè)視頻上柄沮，那可以用如下命令：
./ffmpeg -i input.mp4 -i iQIYI_logo.png -filter_complex overlay output.mp4
結(jié)果如下所示：

要貼到其他地方回梧？看下面：
右上角：
./ffmpeg -i input.mp4 -i logo.png -filter_complex overlay=W-w output.mp4
左下角：
./ffmpeg -i input.mp4 -i logo.png -filter_complex overlay=0:H-h output.mp4
右下角：
./ffmpeg -i input.mp4 -i logo.png -filter_complex overlay=W-w:H-h output.mp4

2.3 去掉視頻的logo
有時(shí)候，下載了某個(gè)網(wǎng)站的視頻铡溪，但是有l(wèi)ogo很煩漂辐，咋辦？有辦法棕硫，用ffmpeg的delogo過(guò)濾器髓涯。
語(yǔ)法：-vf delogo=x:y:w:h[:t[:show]]
x:y 離左上角的坐標(biāo)
w:h logo的寬和高
t: 矩形邊緣的厚度默認(rèn)值4
show：若設(shè)置為1有一個(gè)綠色的矩形，默認(rèn)值0哈扮。

./ffmpeg -i input.mp4 -vf delogo=0:0:220:90:100:1 output.mp4
結(jié)果如下所示：

屏幕快照 2019-06-13 下午2.53.12.png

ffmpeg還有其他強(qiáng)大功能纬纪，這里就不說(shuō)啦，具體可看
http://blog.csdn.net/newchenxf/article/details/51384360

3. 自己寫(xiě)一個(gè)過(guò)濾器
   既然過(guò)濾器這么好滑肉，那如何自己實(shí)現(xiàn)一個(gè)呢包各？
   很簡(jiǎn)單，做3件事：
   a). 自己寫(xiě)一個(gè)XXX.c文件靶庙，比如vf_transform.c闻妓，放在libavfilter目錄下厅翔。代碼可以參考其他filter；
   b) 在libavfilter/allfilters.c添加一行：
   REGISTER_FILTER(TRANSFORM, transform, vf);
   c) 修改libavfilter/Makefile，添加一行：
   OBJS-$(CONFIG_TRANSFORM_FILTER) += vf_transform.o

步驟知道了罩缴，現(xiàn)在就做第一步幅虑，開(kāi)始coding一個(gè)C文件吧棍厌，名字就為vf_transform.c悼粮，給出代碼如下所示。

#include "libavutil/opt.h"
#include "libavutil/imgutils.h"
#include "libavutil/avassert.h"
#include "avfilter.h"
#include "formats.h"
#include "internal.h"
#include "video.h"


typedef struct TransformContext {
    const AVClass *class;
    int backUp;
    //add some private data if you want
} TransformContext;

typedef struct ThreadData {
    AVFrame *in, *out;
} ThreadData;

static void image_copy_plane(uint8_t *dst, int dst_linesize,
                         const uint8_t *src, int src_linesize,
                         int bytewidth, int height)
{
    if (!dst || !src)
        return;
    av_assert0(abs(src_linesize) >= bytewidth);
    av_assert0(abs(dst_linesize) >= bytewidth);
    for (;height > 0; height--) {
        memcpy(dst, src, bytewidth);
        dst += dst_linesize;
        src += src_linesize;
    }
}

//for YUV data, frame->data[0] save Y, frame->data[1] save U, frame->data[2] save V
static int frame_copy_video(AVFrame *dst, const AVFrame *src)
{
    int i, planes;

    if (dst->width  > src->width ||
        dst->height > src->height)
        return AVERROR(EINVAL);

    planes = av_pix_fmt_count_planes(dst->format);
    //make sure data is valid
    for (i = 0; i < planes; i++)
        if (!dst->data[i] || !src->data[i])
            return AVERROR(EINVAL);

    const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(dst->format);
    int planes_nb = 0;
    for (i = 0; i < desc->nb_components; i++)
        planes_nb = FFMAX(planes_nb, desc->comp[i].plane + 1);

    for (i = 0; i < planes_nb; i++) {
        int h = dst->height;
        int bwidth = av_image_get_linesize(dst->format, dst->width, i);
        if (bwidth < 0) {
            av_log(NULL, AV_LOG_ERROR, "av_image_get_linesize failed\n");
            return;
        }
        if (i == 1 || i == 2) {
            h = AV_CEIL_RSHIFT(dst->height, desc->log2_chroma_h);
        }
        image_copy_plane(dst->data[i], dst->linesize[i],
                            src->data[i], src->linesize[i],
                            bwidth, h);
    }
    return 0;
}

/**************************************************************************
* you can modify this function, do what you want here. use src frame, and blend to dst frame.
* for this demo, we just copy some part of src frame to dst frame(out_w = in_w/2, out_h = in_h/2)
***************************************************************************/
static int do_conversion(AVFilterContext *ctx, void *arg, int jobnr,
                        int nb_jobs)
{
    TransformContext *privCtx = ctx->priv;
    ThreadData *td = arg;
    AVFrame *dst = td->out;
    AVFrame *src = td->in;

    frame_copy_video(dst, src);
    return 0;
}

static int filter_frame(AVFilterLink *link, AVFrame *in)
{
    av_log(NULL, AV_LOG_WARNING, "### chenxf filter_frame, link %x, frame %x \n", link, in);
    AVFilterContext *avctx = link->dst;
    AVFilterLink *outlink = avctx->outputs[0];
    AVFrame *out;

    //allocate a new buffer, data is null
    out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
    if (!out) {
        av_frame_free(&in);
        return AVERROR(ENOMEM);
    }

    //the new output frame, property is the same as input frame, only width/height is different
    av_frame_copy_props(out, in);
    out->width  = outlink->w;
    out->height = outlink->h;

    ThreadData td;
    td.in = in;
    td.out = out;
    int res;
    if(res = avctx->internal->execute(avctx, do_conversion, &td, NULL, FFMIN(outlink->h, avctx->graph->nb_threads))) {
        return res;
    }

    av_frame_free(&in);

    return ff_filter_frame(outlink, out);
}

static av_cold int config_output(AVFilterLink *outlink)
{
    AVFilterContext *ctx = outlink->src;
    TransformContext *privCtx = ctx->priv;

    //you can modify output width/height here
    outlink->w = ctx->inputs[0]->w/2;
    outlink->h = ctx->inputs[0]->h/2;
    av_log(NULL, AV_LOG_DEBUG, "configure output, w h = (%d %d), format %d \n", outlink->w, outlink->h, outlink->format);

    return 0;
}

static av_cold int init(AVFilterContext *ctx)
{
    av_log(NULL, AV_LOG_DEBUG, "init \n");
    TransformContext *privCtx = ctx->priv;
    //init something here if you want
    return 0;
}

static av_cold void uninit(AVFilterContext *ctx)
{
    av_log(NULL, AV_LOG_DEBUG, "uninit \n");
    TransformContext *privCtx = ctx->priv;
    //uninit something here if you want
}

//currently we just support the most common YUV420, can add more if needed
static int query_formats(AVFilterContext *ctx)
{
    static const enum AVPixelFormat pix_fmts[] = {
        AV_PIX_FMT_YUV420P,
        AV_PIX_FMT_NONE
    };
    AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
    if (!fmts_list)
        return AVERROR(ENOMEM);
    return ff_set_common_formats(ctx, fmts_list);
}


//*************
#define OFFSET(x) offsetof(TransformContext, x)
#define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM

static const AVOption transform_options[] = {
    { "backUp",         "a backup parameters, NOT use so far",          OFFSET(backUp),    AV_OPT_TYPE_STRING, {.str = "0"}, CHAR_MIN, CHAR_MAX, FLAGS },
    { NULL }

};// TODO: add something if needed

static const AVClass transform_class = {
    .class_name       = "transform",
    .item_name        = av_default_item_name,
    .option           = transform_options,
    .version          = LIBAVUTIL_VERSION_INT,
    .category         = AV_CLASS_CATEGORY_FILTER,
};

static const AVFilterPad avfilter_vf_transform_inputs[] = {
    {
        .name         = "transform_inputpad",
        .type         = AVMEDIA_TYPE_VIDEO,
        .filter_frame = filter_frame,
    },
    { NULL }
};

static const AVFilterPad avfilter_vf_transform_outputs[] = {
    {
        .name = "transform_outputpad",
        .type = AVMEDIA_TYPE_VIDEO,
        .config_props = config_output,
    },
    { NULL }
};

AVFilter ff_vf_transform = {
    .name           = "transform",
    .description    = NULL_IF_CONFIG_SMALL("cut a part of video"),
    .priv_size      = sizeof(TransformContext),
    .priv_class     = &transform_class,
    .init          = init,
    .uninit        = uninit,
    .query_formats = query_formats,
    .inputs         = avfilter_vf_transform_inputs,
    .outputs        = avfilter_vf_transform_outputs,
};

要寫(xiě)一個(gè)filter砚亭，基本上按著上面的模板就可以了灯变，最關(guān)鍵的函數(shù)就是filter_frame。你可以通過(guò)修改filter_frame捅膘，來(lái)做想要的變換添祸。
當(dāng)然啦，我還是要友情介紹一下上面的代碼篓跛。
從下往上看膝捞，我們要寫(xiě)的首先是AVFilter，其中的名字就是對(duì)外宣稱(chēng)的名字，和命令行要使用的-vf transform是一樣的蔬咬。
priv——size初始化了TransformContext鲤遥，這個(gè)是你自己寫(xiě)的filter的私有上下文，你可以把各種需要的本地全局變量放在這林艘，挺好的盖奈。
接著就是init和uninit，這個(gè)是看情況的狐援，如果你的私有上下文钢坦，有什么內(nèi)容要初始化，那就放在init啥酱，如果沒(méi)有爹凹，那可以把這兩句刪掉init/uninit函數(shù)也可以不寫(xiě)。
接著就是query_formats镶殷，這個(gè)就是宣稱(chēng)你的filter支持什么格式的frame禾酱。本例只寫(xiě)著YUV420，當(dāng)然你可以根據(jù)需要添加支持绘趋。
接著就是AVFilterPad inputs/outputs颤陶，這個(gè)你可以認(rèn)為是filter和外面交互的橋梁。
比如AVFilterPad avfilter_vf_transform_inputs陷遮，就聲明了結(jié)構(gòu)體的函數(shù)指針filter_frame滓走，將會(huì)指向本文件的filter_frame(…)函數(shù)，這時(shí)候帽馋，其他filter可以通過(guò)這個(gè)函數(shù)指針搅方，間接調(diào)用filter_frame(…)。
同理AVFilterPad avfilter_vf_transform_outputs绽族，聲明了結(jié)構(gòu)體的函數(shù)指針config_props腰懂，將會(huì)指向本文件的config_output(…)函數(shù)，這時(shí)候项秉，其他filter可以通過(guò)這個(gè)函數(shù)指針，間接調(diào)用config_output(…)慷彤。
filter_frame(…)是最關(guān)鍵的函數(shù)娄蔼，我們要做的變換，必須在該函數(shù)實(shí)現(xiàn)底哗。
config_output(…)干嘛用呢?用于配置輸出的frame的大小岁诉。比如輸入一個(gè)1920x1080的幀，我們想要變換一下跋选，并以960x540輸出涕癣，那么，這個(gè)960x540就得在該函數(shù)設(shè)置前标。

說(shuō)完這些坠韩，好像你基本上就懂了距潘。本例就在filter_frame函數(shù)里，把輸入的一幀只搁，的左上部分音比，剪切的dst frame，然后輸出氢惋。

好了洞翩，重新編譯ffmpeg，然后就可以跑起來(lái)了焰望。
./ffmpeg -loglevel warning -i input.mp4 -vf transform output.mp4

4. filter的結(jié)構(gòu)體
   代碼寫(xiě)好了骚亿，但是是不是云里霧里，不知道為啥那么寫(xiě)熊赖，不知道那些結(jié)構(gòu)體到底是啥關(guān)系来屠？別怕，接下來(lái)就為你揭開(kāi)各種結(jié)構(gòu)體關(guān)系的神秘面紗秫舌。

filter涉及的結(jié)構(gòu)體的妖，主要包括：
InputStream, OutputStream
FilterGraph,
AVFilterGraph, AVFilterContext, AVFilterLink, AVFilterPad。
要理清它們之間錯(cuò)綜復(fù)雜的關(guān)系足陨，單看代碼是很難記憶深刻的嫂粟，為此我特地花了一張圖，如下所示墨缘。（以上面的例子為背景）

代碼結(jié)構(gòu)圖1.png

上面的例子星虹，用了命令：
./ffmpeg -loglevel warning -i input.mp4 -vf transform output.mp4
即用了我們寫(xiě)的transform filter。
假設(shè)源視頻input.mp4镊讼，有一路video和一路audio宽涌，那么，audio和video各自有1個(gè)InputStream和1個(gè)OutputStream蝶棋。
以video為例卸亮，共一個(gè)InputStream & OutputStream。那么玩裙，video所涉及的結(jié)構(gòu)體正如上圖所示兼贸。

一般，一個(gè)InputStream對(duì)應(yīng)一個(gè)Inputfilter吃溅，一個(gè)OutputStream對(duì)應(yīng)一個(gè)OutputFilter溶诞。
FilterGraph管理Inputfilter和OutputFilter（當(dāng)然，Inputfilter和OutputFilter的指針graph都可以找到管理者FilterGraph）决侈。此外螺垢，F(xiàn)ilterGraph還管理一個(gè)AVFilterGraph。
AVFilterGraph是干嘛的？它內(nèi)部有個(gè)雙指針枉圃，filters功茴，明顯就是一個(gè)指針數(shù)組，存一堆的AVFilterContext指針讯蒲。
AVFilterContext對(duì)應(yīng)啥痊土？它其實(shí)就對(duì)應(yīng)一個(gè)filter！Ｄ帧Ａ拊汀！旭等！也就是說(shuō)酌呆，一個(gè)filter的上下文就是AVFilterContext。所以對(duì)上圖來(lái)說(shuō)搔耕，AVFilterGraph的*filters其實(shí)就指向4個(gè)AVFilterContext隙袁。

你是不是疑問(wèn)，為啥我們自己就寫(xiě)了一個(gè)filter弃榨，怎么會(huì)涉及到4個(gè)filter菩收？
其實(shí)ffmpeg默認(rèn)是有3個(gè)filter的！名字叫“buffer”, “format”, “buffersink”鲸睛，就在上圖上半部分的第一娜饵，第三，和第四個(gè)AVFilterContext官辈。

AVFilterLink是干嘛的箱舞？它是建立AVFilterContext之間的聯(lián)系。所以拳亿，若有4個(gè)AVFilterContext晴股，那就需要3個(gè)AVFilterLink。
AVFilterLink的src指針肺魁，指向上一個(gè)AVFilterContext电湘，dst指針，指向下一個(gè)AVFilterContext鹅经。
AVFilterPad干嘛的胡桨？它用于AVFilterContext之間的callback（回調(diào)）。
怎么個(gè)回調(diào)法瞬雹？
很簡(jiǎn)單，第一個(gè)AVFilterContext的outputs[0]指針刽虹，指向第一個(gè)AVFilterLink酗捌，這個(gè)AVFilterLink的dst指針，指向第二個(gè)AVFilterContext。
如果我在前一個(gè)AVFilterContext調(diào)用
outputs[0]->dstpad->filter_frame(Frame* input_frame1), 那其實(shí)就意味著胖缤，第一個(gè)過(guò)濾器尚镰，可以把處理好的一個(gè)frame（名字為input_frame1），可以通過(guò)這個(gè)調(diào)用哪廓，傳遞給第二個(gè)過(guò)濾器的input_pads的filter_frame函數(shù)狗唉。而我們實(shí)現(xiàn)的vf_transform.c，就是我說(shuō)的第二個(gè)過(guò)濾器涡真，里面就實(shí)現(xiàn)了filter_frame().

5. filter_frame()調(diào)用流程
   既然說(shuō)分俯，filter_frame是最關(guān)鍵的函數(shù)，也是我們自己寫(xiě)filter必須自定義的函數(shù)哆料，那么缸剪，我們就來(lái)理一理這個(gè)函數(shù)從哪里來(lái)，又將到哪里去东亦！

5.1. decode_video //ffmpeg.c
最初的源頭杏节，是ffmpeg.c的decode_video函數(shù)。
將核心代碼抽取出來(lái)典阵，如下所示：

static int decode_video(InputStream *ist, AVPacket *pkt, int *got_output)
{
    AVFrame* decoded_frame, f;
    //解碼
    ret = avcodec_decode_video2(ist->dec_ctx,
                                decoded_frame, got_output, pkt);
    //......
    //送給濾鏡
    for (i = 0; i < ist->nb_filters; i++) {
        f = decodec_frame;
        ret = av_buffersrc_add_frame_flags(ist->filters[i]->filter, f, AV_BUFFERSRC_FLAG_PUSH);
    }
}

可見(jiàn)奋渔，最重要做2件事，一個(gè)解碼壮啊，一個(gè)送給濾鏡嫉鲸。
送給哪個(gè)濾鏡呢？InputStream *ist的nb_filters為1他巨，其實(shí)就是指向名字為“buffer”的filter(源文件:buffersrc.c)充坑。這個(gè)filter與其他filter不同的是，它是所有filter的第一個(gè)入口染突。解碼完捻爷，都先給它，它再傳遞給下一個(gè)份企。為啥先給他呢也榄？很簡(jiǎn)單，它是一個(gè)FIFO司志，緩存數(shù)據(jù)用的甜紫。

5.2. av_buffersrc_add_frame_flags//buffersrc.c
該函數(shù)直接走到av_buffersrc_add_frame_internal //buffersrc.c

5.3. av_buffersrc_add_frame_internal //buffersrc.c

static int av_buffersrc_add_frame_internal(AVFilterContext *ctx,
                                           AVFrame *frame, int flags)
{
    //寫(xiě)FIFO
    av_fifo_generic_write(s->fifo, &copy, sizeof(copy), NULL);
    if ((flags & AV_BUFFERSRC_FLAG_PUSH))
        if ((ret = ctx->output_pads[0].request_frame(ctx->outputs[0])) < 0)
            return ret;

    return 0;
}

抽出核心代碼，可見(jiàn)骂远，顯示把frame寫(xiě)到FIFO囚霸，然后調(diào)了自己的output_pads[0]的request_frame。

5.4. request_frame //buffersrc.c

static int request_frame(AVFilterLink *link)
{
    BufferSourceContext *c = link->src->priv;
    AVFrame *frame;
    int ret;
    //省略......
    av_fifo_generic_read(c->fifo, &frame, sizeof(frame), NULL);
    av_log(NULL, AV_LOG_WARNING, "request_frame, frame-pts %lld \n", frame->pts);
    //這個(gè)link激才，是第一個(gè)link拓型，鏈接當(dāng)前的AVFilterContext和下一個(gè)AVFilterContext额嘿，也就是我們自己寫(xiě)的vf_transform.c
    ret = ff_filter_frame(link, frame);

    return ret;
}

抽出核心代碼，可見(jiàn)它從FIFO讀取一幀數(shù)據(jù)劣挫。然后調(diào)用ff_filter_frame册养。此時(shí)輸入的link是第一個(gè)AVFilterLink。

5.5. ff_filter_frame // avfilter.c
該函數(shù)做了一些基本檢查压固，走到ff_filter_frame_framed

5.6. ff_filter_frame_framed //avfilter.c

static int ff_filter_frame_framed(AVFilterLink *link, AVFrame *frame)
{
    //定義一個(gè)函數(shù)指針filter_frame球拦。所指向的函數(shù)，參數(shù)為AVFilterLink *, AVFrame *,返回值為int
    int (*filter_frame)(AVFilterLink *, AVFrame *);
    AVFilterContext *dstctx = link->dst;//下一個(gè)AVFilterContext帐我，對(duì)本例來(lái)說(shuō)坎炼，就是我們自己寫(xiě)的transform 濾鏡，源碼在vf_transform.c
    AVFilterPad *dst = link->dstpad;
    AVFrame *out = NULL;
    int ret;

    if (!(filter_frame = dst->filter_frame))//函數(shù)指針filter_frame焚刚，link->dstpad其實(shí)就是dstctx->input_pads点弯，也就是transform濾鏡定義的
        filter_frame = default_filter_frame;
    //省略300字

    ret = filter_frame(link, out);
    link->frame_count++;
    ff_update_link_current_pts(link, pts);
    return ret;
}

抽出核心代碼。
定義一個(gè)函數(shù)指針filter_frame矿咕。所指向的函數(shù)抢肛，必須是參數(shù)為AVFilterLink , AVFrame ,返回值為int
filter_frame = dst->filter_frame
dst = link->dstpad，而link->dstpad其實(shí)就是dstctx->input_pads碳柱，也就是transform過(guò)濾器定義的input_pads

static const AVFilterPad avfilter_vf_transform_inputs[] = {
    {
        .name         = "default",
        .type         = AVMEDIA_TYPE_VIDEO,
        .filter_frame = filter_frame,
    },
    { NULL }
};

所以捡絮，filter_frame函數(shù)指針，指向的就是vf_transform.c實(shí)現(xiàn)的filter_frame函數(shù)莲镣。

5.7. filter_frame //vf_transform.c福稳，當(dāng)然啦，ffmpeg定義的各種filter瑞侮，比如vf_colorbalance.c的圆，vf_scale.c等，也有這個(gè)函數(shù)半火，流程一樣的

static int filter_frame(AVFilterLink *link, AVFrame *in)
{
    AVFilterContext *avctx = link->dst;//第一個(gè)link的dst AVFilterContext越妈，其實(shí)就是當(dāng)前的filter的AVFilterContext
    AVFilterLink *outlink = avctx->outputs[0];//當(dāng)前的AVFilterContext，outputs[0]指向第二個(gè)AVFilterLink
    AVFrame *out;

    //分配一個(gè)空的AVFrame钮糖。
    out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
    if (!out) {
        av_frame_free(&in);
        return AVERROR(ENOMEM);
    }

    //分配的空buffer的參數(shù)和上一個(gè)基本一致梅掠，但修改寬高。當(dāng)然啦店归，如果你愿意阎抒，不修改寬高，那就不需要下面2句消痛。
    av_frame_copy_props(out, in);
    out->width  = outlink->w;
    out->height = outlink->h;
    out->format = outlink->format;

    ThreadData td;
    td.in = in;
    td.out = out;
    int res;
    if(res = avctx->internal->execute(avctx, do_conversion, &td, NULL, FFMIN(outlink->h, avctx->graph->nb_threads))) {
        return res;
    }//啟用一個(gè)子線(xiàn)程且叁，執(zhí)行比較耗時(shí)的變換。do_conversion是我們要做的變換秩伞。

    av_frame_free(&in);

    return ff_filter_frame(outlink, out);//此時(shí)的ff_filter_frame逞带，輸入?yún)?shù)和前面buffersrc.c調(diào)用的已經(jīng)不一樣质涛。outlink是第二個(gè)AVFilterLink，buffer也是做了變換的新的buffer
}
1

抽出關(guān)鍵代碼掰担，抽象，通過(guò)ff_get_video_buffer怒炸，分配一個(gè)空buffer带饱，該buffer用于存儲(chǔ)變換的結(jié)果，并會(huì)通過(guò)ff_filter_frame傳遞到下一個(gè)filter阅羹。
do_conversion是一個(gè)真正做變換的函數(shù)勺疼，但其實(shí)如果要做的處理并不耗時(shí)，也不一定要用另一個(gè)線(xiàn)程來(lái)處理捏鱼。直接在該filter_frame做也行执庐。
處理好的新的數(shù)據(jù)，放在out导梆，調(diào)用ff_filter_frame轨淌，傳遞給下一個(gè)filter。注意看尼，ff_filter_frame的oulink递鹉，對(duì)應(yīng)上圖的第二個(gè)AVFilterLink。

5.8. 再次走進(jìn)ff_filter_frame // avfilter.c
如上已知藏斩，ff_filter_frame只做了一些基本檢查躏结，走到ff_filter_frame_framed。故而我們直接看ff_filter_frame_framed

static int ff_filter_frame_framed(AVFilterLink *link, AVFrame *frame)
{
    //定義一個(gè)函數(shù)指針filter_frame狰域。所指向的函數(shù)媳拴，參數(shù)為AVFilterLink *, AVFrame *,返回值為int
    int (*filter_frame)(AVFilterLink *, AVFrame *);
    AVFilterContext *dstctx = link->dst;//下一個(gè)AVFilterContext，對(duì)本例來(lái)說(shuō)兆览，就是系統(tǒng)默認(rèn)的第三個(gè)濾鏡屈溉，名字叫"format"，源碼在vf_format.c
    AVFilterPad *dst = link->dstpad;
    AVFrame *out = NULL;
    int ret;

    if (!(filter_frame = dst->filter_frame))//vf_format.c沒(méi)有實(shí)現(xiàn)filter函數(shù)拓颓，因?yàn)榉祷貫榭?        filter_frame = default_filter_frame;//所以函數(shù)會(huì)走到這语婴，函數(shù)指針filter_frame 將指向default_filter_frame
    //省略300字

    ret = filter_frame(link, out);
    link->frame_count++;
    ff_update_link_current_pts(link, pts);
    return ret;
}

如注釋所說(shuō)，由于vf_format.c沒(méi)有實(shí)現(xiàn)filter函數(shù)驶睦，所以此時(shí)的filter_frame指針砰左，指向的是defalut_filter_frame。

5.9. default_filter_frame //avfilter.c

static int default_filter_frame(AVFilterLink *link, AVFrame *frame)
{
    //該函數(shù)沒(méi)干啥场航，又調(diào)用ff_filter_frame了缠导，第一個(gè)參數(shù)，換成第三個(gè)AVFilterLink了溉痢，第二個(gè)參數(shù)不變僻造，frame默默的傳遞出去
    return ff_filter_frame(link->dst->outputs[0], frame);
}

此時(shí)link->dst->outputs[0]對(duì)應(yīng)上圖第三個(gè)AVFilterLink憋他。

5.10. 第三次走進(jìn)ff_filter_frame // avfilter.c

static int ff_filter_frame_framed(AVFilterLink *link, AVFrame *frame)
{
    //定義一個(gè)函數(shù)指針filter_frame。所指向的函數(shù)髓削，參數(shù)為AVFilterLink *, AVFrame *,返回值為int
    int (*filter_frame)(AVFilterLink *, AVFrame *);
    AVFilterContext *dstctx = link->dst;//下一個(gè)AVFilterContext竹挡，對(duì)本例來(lái)說(shuō)，就是系統(tǒng)默認(rèn)的最后一個(gè)濾鏡立膛，名字叫"buffersink"揪罕，源碼在bufffersink.c
    AVFilterPad *dst = link->dstpad;
    AVFrame *out = NULL;
    int ret;

    if (!(filter_frame = dst->filter_frame))//指向buffersink.c實(shí)現(xiàn)的filte_frame函數(shù)
        filter_frame = default_filter_frame;
    //省略300字

    ret = filter_frame(link, out);
    link->frame_count++;
    ff_update_link_current_pts(link, pts);
    return ret;
}

此時(shí)的filter_frame指針，指向buffersink.c實(shí)現(xiàn)的filter_frame函數(shù)

5.11. filter_frame //buffersink.c

static int filter_frame(AVFilterLink *link, AVFrame *frame)
{
    AVFilterContext *ctx = link->dst;
    BufferSinkContext *buf = link->dst->priv;
    int ret;

    if ((ret = add_buffer_ref(ctx, frame)) < 0)
        return ret;
    //省略300字
    return 0;
}

static int add_buffer_ref(AVFilterContext *ctx, AVFrame *ref)
{
    BufferSinkContext *buf = ctx->priv;

    /* cache frame */
    //把buffer存到FIFO
    av_fifo_generic_write(buf->fifo, &ref, FIFO_INIT_ELEMENT_SIZE, NULL);
    return 0;
}

抽出關(guān)鍵代碼宝泵。很清晰的看到好啰，其實(shí)就是把buffer存到FIFO。

至此儿奶，把filter_frame的來(lái)龍去脈搞清楚啦？蛲！歐耶

6. filter之后闯捎，ffmpeg如何編碼
   當(dāng)我們寫(xiě)了一個(gè)filter椰弊，把視頻做處理后，ffmpeg是如何把它編碼的呢隙券？
   通過(guò)研究男应，發(fā)現(xiàn)編碼的源頭函數(shù)是reap_filters(…)，它會(huì)被transcode_step(…)函數(shù)調(diào)用娱仔。

6.1. reap_filters //ffmpeg.c

static int reap_filters(int flush)
{
    AVFrame *filtered_frame = NULL;//該指針將存儲(chǔ)一個(gè)經(jīng)過(guò)濾鏡處理后的buffer沐飘，并送給encoder
    int i;

    /* Reap all buffers present in the buffer sinks */
    for (i = 0; i < nb_output_streams; i++) {//一路video，一路audio牲迫，那么nb_output_streams = 2
        OutputStream *ost = output_streams[i];
        OutputFile    *of = output_files[ost->file_index];
        AVFilterContext *filter;
        AVCodecContext *enc = ost->enc_ctx;
        int ret = 0;

        if (!ost->filter)
            continue;
        filter = ost->filter->filter;//OutputStream的filter指針指向buffersink.c定義的AVFilterContext耐朴。也就是本文討論的，最后一個(gè)AVFilterContext

        if (!ost->filtered_frame && !(ost->filtered_frame = av_frame_alloc())) {
            return AVERROR(ENOMEM);
        }
        filtered_frame = ost->filtered_frame;

        while (1) {
            double float_pts = AV_NOPTS_VALUE; // this is identical to filtered_frame.pts but with higher precision
            //av_buffersink_get_frame_flags定義在buffersink.c盹憎，用于從FIFO讀出一幀
            ret = av_buffersink_get_frame_flags(filter, filtered_frame,
                                               AV_BUFFERSINK_FLAG_NO_REQUEST);
            if (ret < 0) {
                //省略筛峭，檢查ret
                //如果ret<0，不是別的錯(cuò)誤陪每，那認(rèn)為還沒(méi)有數(shù)據(jù)影晓，跳出循環(huán)
                break;
            }
            switch (filter->inputs[0]->type) {
            case AVMEDIA_TYPE_VIDEO:
                //do_video_out函數(shù)將會(huì)做video編碼
                do_video_out(of->ctx, ost, filtered_frame, float_pts);
                break;
            case AVMEDIA_TYPE_AUDIO:
                //do_audio_out函數(shù)將會(huì)做audioo編碼
                do_audio_out(of->ctx, ost, filtered_frame);
                break;
            default:
                // TODO support subtitle filters
                av_assert0(0);
            }

            av_frame_unref(filtered_frame);
        }
    }

    return 0;
}

前一節(jié)說(shuō)了，filter_frame(…)的最終結(jié)果是檩禾，把buffer存在了buffersink.c的FIFO里挂签。
那么，這一節(jié)盼产，說(shuō)的其實(shí)就是一個(gè)從buffersink的FIFO讀數(shù)據(jù)饵婆，并編碼的過(guò)程。
從上面可知戏售，av_buffersink_get_frame_flags函數(shù)侨核，從buffersink讀取一幀數(shù)據(jù)草穆，放到filtered_frame。

6.2. do_video_out //ffmpeg.c

static void do_video_out(AVFormatContext *s,
                         OutputStream *ost,
                         AVFrame *next_picture,
                         double sync_ipts)
{
    int ret;
    AVCodecContext *enc = ost->enc_ctx;
    int nb_frames, nb0_frames, i;
    //省略300字
    for (i = 0; i < nb_frames; i++) {
        AVFrame *in_picture;
        if (i < nb0_frames && ost->last_frame) {
            in_picture = ost->last_frame;
        } else
            in_picture = next_picture;
        //省略300字
        ost->frames_encoded++;
        //開(kāi)始編碼
        ret = avcodec_encode_video2(enc, &pkt, in_picture, &got_packet);
    }
    ///省略300字
}

該函數(shù)很長(zhǎng)搓译，做了很多雜事悲柱，但關(guān)鍵代碼就是調(diào)用編碼函數(shù)avcodec_encode_video2

7. 函數(shù)流程圖
   說(shuō)了那么久，得來(lái)個(gè)大招了些己！下面給出ffmpeg使用filter時(shí)的函數(shù)流程圖诗祸，主要把和filter相關(guān)的函數(shù)拉出來(lái)！

   
   
   代碼結(jié)構(gòu)圖2.png

對(duì)于ffmpeg常規(guī)的avcodec_register_all(…), avfilter_register_all(…), av_register_all(…)等函數(shù)轴总，我就不說(shuō)啦。各種CSDN大牛說(shuō)了很多了２└觥怀樟！

transcode_init()主要用于初始化前文提到的各種結(jié)構(gòu)體。
transcode_step主要工作：
解碼->送filter過(guò)濾->編碼->繼續(xù)解碼….

choose_output()函數(shù)用于選擇一個(gè)OutputStream盆佣。比如有一個(gè)audio往堡，一個(gè)video，那要根據(jù)pts策略共耍，比如誰(shuí)的pts比較小虑灰，就挑哪個(gè)OutputStream先干活。
transcode_frome_filter()函數(shù)用于選個(gè)一個(gè)InputStream痹兜，用于下一步的process_input()穆咐。
process_input()函數(shù)主要是解碼，并把解碼的buffer送往filter處理字旭。
reap_filters()函數(shù)主要是对湃，從filter的FIFO拿出buffer，并編碼遗淳。

8. 參考資料
   FFmpeg官網(wǎng)： http://www.ffmpeg.org
   FFmpeg doc : http://www.ffmpeg.org/documentation.html
   FFmpeg wiki : https://trac.ffmpeg.org/wiki
   CSDN大牛：http://blog.csdn.net/leixiaohua1020/
   最簡(jiǎn)單的基于FFmpeg的AVFilter的例子-修正版

作者：長(zhǎng)江很多號(hào)
來(lái)源：CSDN
原文：https://blog.csdn.net/newchenxf/article/details/51364105
版權(quán)聲明：本文為博主原創(chuàng)文章拍柒，轉(zhuǎn)載請(qǐng)附上博文鏈接！