1.背景

前段時(shí)間由于項(xiàng)目需求巍棱，做了一個(gè)基于GPUImage的實(shí)時(shí)美顏濾鏡。現(xiàn)在各種各樣的直播辐棒、視頻App層出不窮，美顏濾鏡的需求也越來(lái)越多牍蜂。為了回饋開(kāi)源漾根，現(xiàn)在我把它放到了GitHub上面，感興趣的朋友可以去下載鲫竞。下面將主要介紹實(shí)現(xiàn)美顏濾鏡的原理和思路辐怕。

2.GPUImage

GPUImage是一個(gè)開(kāi)源的基于GPU的圖片或視頻的處理框架，其本身內(nèi)置了多達(dá)120多種常見(jiàn)的濾鏡效果从绘。有了它寄疏，添加實(shí)時(shí)的濾鏡只需要簡(jiǎn)單地添加幾行代碼。下面的例子是以攝像頭的數(shù)據(jù)為源僵井，對(duì)其實(shí)時(shí)地進(jìn)行反色的操作(類似相片底片的效果)：

利用GPUImage對(duì)攝像頭數(shù)據(jù)添加濾鏡的示例2.1

其實(shí)美顏也是一樣陕截，如果有這么一個(gè)美顏的濾鏡（姑且叫做GPUImageBeautifyFilter)，那么只需要把示例2.1中的GPUImageColorInvertFilter替換成GPUImageBeautifyFilter即可批什。我們只需要做一個(gè)GPUImageBeautifyFilter就能實(shí)現(xiàn)實(shí)時(shí)美顏了农曲，問(wèn)題來(lái)了，到底什么算是美顏呢渊季？我的理解是朋蔫，大家對(duì)于美顏比較常見(jiàn)的需求就是磨皮罚渐、美白却汉。當(dāng)然提高飽和度、提亮之類的就根據(jù)需求而定荷并。本文將著重介紹磨皮的實(shí)現(xiàn)（實(shí)際上GPUImageBeautifyFilter也實(shí)現(xiàn)了美白合砂、提亮等效果）。

3.磨皮

磨皮的本質(zhì)實(shí)際上是模糊源织。而在圖像處理領(lǐng)域翩伪，模糊就是將像素點(diǎn)的取值與周邊的像素點(diǎn)取值相關(guān)聯(lián)微猖。而我們常見(jiàn)的高斯模糊，它的像素點(diǎn)取值則是由周邊像素點(diǎn)求加權(quán)平均所得缘屹，而權(quán)重系數(shù)則是像素間的距離的高斯函數(shù)凛剥，大致關(guān)系是距離越小、權(quán)重系數(shù)越大轻姿。下圖3.1是高斯模糊效果的示例:

高斯模糊效果示例3.1

如果單單使用高斯模糊來(lái)磨皮犁珠，得到的效果是不盡人意的。原因在于互亮，高斯模糊只考慮了像素間的距離關(guān)系犁享，沒(méi)有考慮到像素值本身之間的差異。舉個(gè)例子來(lái)講豹休，頭發(fā)與人臉?lè)纸缣帲伾町惡艽蟠独ィ谏c人皮膚的顏色），如果采用高斯模糊則這個(gè)邊緣也會(huì)模糊掉威根，這顯然不是我們希望看到的凤巨。而雙邊濾波(Bilateral Filter)則考慮到了顏色的差異，它的像素點(diǎn)取值也是周邊像素點(diǎn)的加權(quán)平均医窿，而且權(quán)重也是高斯函數(shù)磅甩。不同的是，這個(gè)權(quán)重不僅與像素間距離有關(guān)，還與像素值本身的差異有關(guān)栅隐，具體講是盏触，像素值差異越小，權(quán)重越大僧叉，也是這個(gè)特性讓它具有了保持邊緣的特性，因此它是一個(gè)很好的磨皮工具棺榔。下圖3.2是雙邊濾波的效果示例：

雙邊濾波效果示例3.2

對(duì)比3.1和3.2瓶堕，雙邊濾波效果確實(shí)在人臉細(xì)節(jié)部分保留得更好，因此我采用了雙邊濾波作為磨皮的基礎(chǔ)算法症歇。雙邊濾波在GPUImage中也有實(shí)現(xiàn)郎笆，是GPUImageBilateralFilter。

根據(jù)圖3.2忘晤，可以看到圖中仍有部分人臉的細(xì)節(jié)保護(hù)得不夠宛蚓，還有我們并不希望將人的頭發(fā)也模糊掉（我們只需要對(duì)皮膚進(jìn)行處理）。由此延伸出來(lái)的改進(jìn)思路是結(jié)合雙邊濾波设塔，邊緣檢測(cè)以及膚色檢測(cè)凄吏。整體邏輯如下：

磨皮處理邏輯圖3.3

Combination? Filter是我們自己定義的三輸入的濾波器。三個(gè)輸入分別是原圖像A(x, y),雙邊濾波后的圖像B(x, y），邊緣圖像C(x, y)痕钢。其中A,B,C可以看成是圖像矩陣图柏，(x,y)可以看成其中某一像素的坐標(biāo)。Combination? Filter的處理邏輯如下圖：

Combination Filter邏輯圖3.3

下面是主要的shader代碼：

combination filter的shader代碼3.4

Combination Filter通過(guò)膚色檢測(cè)和邊緣檢測(cè)任连，只對(duì)皮膚和非邊緣部分進(jìn)行處理蚤吹。下面是采用這種方式進(jìn)行磨皮之后的效果圖:

最終磨皮效果圖3.5

對(duì)比3.5與3.2，可以看到3.5對(duì)人臉細(xì)節(jié)的保護(hù)更好随抠，同時(shí)對(duì)于面部磨皮效果也很好距辆，給人感覺(jué)更加真實(shí)。

4.延伸

我所采用的磨皮算法是基于雙邊濾波的暮刃，主要是考慮到它同時(shí)結(jié)合了像素間空間距離以及像素值本身的差異跨算。當(dāng)然也不一定要采用雙邊濾波，也有通過(guò)改進(jìn)高斯模糊（結(jié)合像素值差異）來(lái)實(shí)現(xiàn)磨皮的椭懊，甚至能取得更好的效果诸蚕。另外GPUImageBeautifyFilter不僅僅具有磨皮功能，也實(shí)現(xiàn)了log曲線調(diào)色氧猬，亮度背犯、飽和度的調(diào)整，具體詳情可以參見(jiàn)demo盅抚。

文／琨君（簡(jiǎn)書作者）

原文鏈接：http://www.reibang.com/p/945fc806a9b4