回顧
之前解析介紹的是GPUImage源碼解析诫龙、圖片模糊落午、視頻濾鏡谎懦,明白了GPUImage的強(qiáng)大功能,這次介紹的是兩個(gè)視頻的重疊溃斋,可以把兩個(gè)視頻文件合并界拦,也可以把視頻和錄像結(jié)合在一起。
效果展示
視頻的截圖如下梗劫,視頻由兩個(gè)視頻合成享甸,一個(gè)來(lái)自于文件abc.mp4,一個(gè)來(lái)自于攝像頭梳侨。
核心思路
攝像頭采集的數(shù)據(jù)通過(guò)GPUImageVideoCamera進(jìn)入響應(yīng)鏈蛉威,視頻文件的數(shù)據(jù)通過(guò)GPUImageMovie進(jìn)入響應(yīng)鏈,在GPUImageDissolveBlenderFilter進(jìn)行合并走哺,最后把數(shù)據(jù)傳給響應(yīng)鏈的終點(diǎn)GPUImageView以顯示到UI和GPUImageMovieWriter以寫入臨時(shí)文件蚯嫌,最后臨時(shí)文件通過(guò)ALAssetsLibrary寫入系統(tǒng)庫(kù)。
具體細(xì)節(jié)
1丙躏、GPUImageDissolveBlendFilter
GPUImageDissolveBlendFilter類繼承GPUImageTwoInputFilter择示,添加屬性mix作為片元著色器的mix參數(shù)。GPUImageDissolveBlendFilter在響應(yīng)鏈上需要接受兩個(gè)輸入晒旅,當(dāng)兩個(gè)輸入都就緒時(shí)栅盲,會(huì)通過(guò)mix()操作把輸入混合,并且輸出到響應(yīng)鏈上废恋。
思考1:如果只有一個(gè)輸入會(huì)如何谈秫?
2、GPUImageMovie
GPUImageMovie類繼承了GPUImageOutput類鱼鼓,一般作為響應(yīng)鏈的源頭孝常,可以通過(guò)url、playerItem蚓哩、asset初始化。
3上渴、GPUImageMovieWriter
GPUImageMovieWriter類實(shí)現(xiàn)GPUImageInput協(xié)議岸梨,一般作為響應(yīng)鏈的終點(diǎn)喜颁。shouldPassthroughAudio表示是否使用源音源。
movieFile.audioEncodingTarget = movieWriter;
表示音頻來(lái)源是文件曹阔。
if (audioFromFile) {
// 響應(yīng)鏈
[movieFile addTarget:filter];
[videoCamera addTarget:filter];
movieWriter.shouldPassthroughAudio = YES;
movieFile.audioEncodingTarget = movieWriter;
[movieFile enableSynchronizedEncodingUsingMovieWriter:movieWriter];
}
else {
// 響應(yīng)鏈
[videoCamera addTarget:filter];
[movieFile addTarget:filter];
movieWriter.shouldPassthroughAudio = NO;
videoCamera.audioEncodingTarget = movieWriter;
movieWriter.encodingLiveVideo = NO;
}
思考2:音頻來(lái)源的不同會(huì)對(duì)響應(yīng)鏈造成什么樣的影響半开?為什么?
4赃份、響應(yīng)鏈
響應(yīng)鏈以GPUImageVideoCamera和GPUImageMovie作為輸入寂拆,最終以GPUImageMovieWriter為輸出。
- 開(kāi)始響應(yīng)鏈的輸入抓韩。
[videoCamera startCameraCapture];
[movieWriter startRecording];
[movieFile startProcessing];
- 設(shè)置movieWriter的結(jié)束回調(diào)纠永。
[movieWriter setCompletionBlock:^{
}];
思考3:movieWriter的回調(diào)是什么時(shí)候調(diào)用的?由哪里觸發(fā)谒拴?
思考4:movieWriter的encodingLiveVideo有什么用翅帜?把其設(shè)置為YES和NO試試苗踪,觀察是否有影響?
總結(jié)
做demo的過(guò)程中遇到坑,GPUImage上面有Issues缩麸,但是并沒(méi)有人解答????????????????。
代碼地址在這里府喳,參考鏈接上有趟坑的時(shí)候查到的一些資料针姿。
附錄
幾個(gè)思考題都是做demo過(guò)程比較迷惑不解的地方和遇到的問(wèn)題,答案分別是:
思考1:輸入只有一個(gè)輸入的時(shí)候相恃,會(huì)一直等待第二個(gè)輸入辜纲,不會(huì)有輸出。問(wèn)題出現(xiàn)在把videoCamera聲明為臨時(shí)變量豆茫,以為添加target會(huì)持有videoCamera的引用侨歉。實(shí)際上就會(huì)發(fā)生輸入只有一個(gè)的時(shí)候(只有視頻文件的信號(hào)),同時(shí)屏幕是白屏揩魂。
思考2:音頻的來(lái)源不同會(huì)導(dǎo)致CMTime的不同幽邓,響應(yīng)鏈視頻信息的CMTime默認(rèn)采用第一個(gè)輸入的CMTime,故而修改音頻來(lái)源的時(shí)候需要修改響應(yīng)鏈的輸入順序火脉,否則幾秒鐘的視頻文件會(huì)產(chǎn)生兩個(gè)多小時(shí)的文件(CMTime不同步導(dǎo)致)牵舵。
思考3:movieWriter的回調(diào)會(huì)在視頻處理結(jié)束的時(shí)候調(diào)用,由GPUImageMovie的
reader.status == AVAssetReaderStatusCompleted
觸發(fā)倦挂。
思考4:encodingLiveVideo影響的其實(shí)是expectsMediaDataInRealTime屬性畸颅,YES時(shí)用于輸入流是實(shí)時(shí)的,比如說(shuō)攝像頭方援。