編碼類相關(guān)
通過(guò)VideoEngineImpl分別繼承 ViEBaseImpl,ViECodecImpl抠忘,ViECaptureImpl婴谱,ViERenderImpl等來(lái)實(shí)現(xiàn)所有繼承的類思犁。
編碼部分在ViECodecImpl分支车份,調(diào)用ViEEncoder的實(shí)例,ViEEncoder類中調(diào)用VideoCodingModule實(shí)例灿意,VideoCodingModule調(diào)用VideoSender實(shí)例估灿,而VideoSender調(diào)用VCMGenericEncoder實(shí)例,VCMGenericEncoder調(diào)用VideoEncoder實(shí)例缤剧。
而VideoEncoder實(shí)例為H264Encoder實(shí)例馅袁、VP9Encoder實(shí)例、VP8Encoder實(shí)例中的一個(gè)荒辕,這些類又分別對(duì)應(yīng)自己的實(shí)現(xiàn)類司顿,在其中實(shí)現(xiàn)具體的編碼器芒粹。
在VideoEngine類中
VideoEngine* VideoEngine::Create() {
return new VideoEngineImpl(new Config(), true /* owns_config */);
}
所以,創(chuàng)建視頻相關(guān)所有對(duì)象的方法如下:
_videoEngine = VideoEngine::Create();
_vieBase = ViEBase::GetInterface(_videoEngine);
_vieCapture = ViECapture::GetInterface(_videoEngine);
_vieRTPRTCP = ViERTP_RTCP::GetInterface(_videoEngine);
_vieRender = ViERender::GetInterface(_videoEngine);
_vieCodec = ViECodec::GetInterface(_videoEngine);
_vieNetwork = ViENetwork::GetInterface(_videoEngine);
_vieFile=ViEFile::GetInterface(_videoEngine);
_vieImageProc = ViEImageProcess::GetInterface(_videoEngine);
采集到編碼
VideoCaptureAndroid.java 的 onPreviewFrame()大溜,調(diào)用ProvideCameraFrame()。
video_capture_android.cc文件中int32_t VideoCaptureAndroid::OnIncomingFrame()估脆,調(diào)用int32_t VideoCaptureAndroid::OnIncomingFrame()钦奋,調(diào)用IncomingFrame()。
video_capture_impl.cc 文件中 int32_t VideoCaptureImpl::IncomingFrame()疙赠,調(diào)用int32_t VideoCaptureImpl::DeliverCapturedFrame()付材,調(diào)用void ViECapturer::OnIncomingCapturedFrame()。
bool ViECapturer::ViECaptureProcess()函數(shù)中處理capture_event_圃阳,當(dāng)有新的幀來(lái)時(shí)厌衔,則觸發(fā)事件。
調(diào)用void ViECapturer::DeliverI420Frame()捍岳,做一些色彩等方面的前處理富寿。
調(diào)用void ViEFrameProviderBase::DeliverFrame(),這里分別對(duì)應(yīng)render和encoder锣夹,即將視頻幀分別給到渲染和編碼器页徐。
對(duì)于編碼器:調(diào)用void ViEEncoder::DeliverFrame(),會(huì)做丟幀和重采樣的處理银萍,后面調(diào)用流程從上圖中可以清晰看清楚变勇。
對(duì)于渲染:調(diào)用void ViERenderer::DeliverFrame(),后面與ViEEncoder及以后類似贴唇。
onPreviewFrame()
->int32_t VideoCaptureAndroid::OnIncomingFrame()
->int32_t VideoCaptureAndroid::OnIncomingFrame()
-> int32_t VideoCaptureImpl::IncomingFrame()
->int32_t VideoCaptureImpl::DeliverCapturedFrame()
->void ViECapturer::OnIncomingCapturedFrame()
|||||
->bool ViECapturer::ViECaptureProcess()
->void ViECapturer::DeliverI420Frame()
->void ViEFrameProviderBase::DeliverFrame()
->void ViEEncoder::DeliverFrame()或者void ViERenderer::DeliverFrame()
對(duì)于ViEEncoder::DeliverFrame()之后:
int32_t AddVideoFrame()
->int32_t VideoSender::AddVideoFrame //有丟幀處理
->int32_t VCMGenericEncoder::Encode()
->int H264EncoderImpl::Encode()
類似音頻相關(guān)介紹: