關于人臉的前景提取,目前做的最成熟的就是remove.bg了祥楣,商用的效果確實逆天了寿桨。大家可以看看這張圖,
這張圖人臉提取的難點就是頭發(fā)絲是否處理的絲滑琅坡,重點要看兩側(cè)及頭頂?shù)陌l(fā)絲悉患,看看remove.bg處理后的無底效果
“外國的月亮就是圓”,商用的服務確實厲害榆俺,不過價格上不太親民售躁。在問過gpt之后,它給了一個建議谴仙,可以償試PaddleSeg迂求,地址為https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.8/contrib/PP-HumanSeg/README_cn.md碾盐。仔細閱讀之后晃跺,發(fā)現(xiàn)這個開源的框架真的還不錯,“授人以魚不如授人以漁”毫玖。從模型的準備掀虎,訓練,評估付枫,預測烹玉,導出,部署阐滩,使用二打。一個不少,step by step掂榔。當然继效,現(xiàn)在只是用它的模型測試了一下症杏。目前有兩個模型,一個是肖像分割 瑞信,另個一個是通用人像分割厉颤。這里抄一下肖像分割模型:
肖像分割模型
針對手機視頻通話、Web視頻會議等實時半身人像的分割場景凡简,PP-HumanSeg發(fā)布了自研的肖像分割模型逼友。該系列模型可以開箱即用,零成本直接集成到產(chǎn)品中秤涩。
PP-HumanSegV1-Lite肖像分割模型帜乞,分割效果較好,模型體積非常小筐眷,模型結(jié)構(gòu)見鏈接挖函。
PP-HumanSegV2-Lite肖像分割模型,對比V1模型浊竟,推理速度提升45.5%怨喘、mIoU提升3.03%、可視化效果更佳振定,核心在于:
更高的分割精度:使用PaddleSeg推出的超輕量級分割模型(鏈接)必怜,具體選擇MobileNetV3作為骨干網(wǎng)絡,設計多尺度特征融合模塊(Multi-Scale Feature Aggregation Module)后频。
更快的推理速度:減小模型最佳輸入尺寸梳庆,既減少了推理耗時,又增大模型感受野卑惜。
更好的通用性:使用遷移學習的思想膏执,首先在大型通用人像分割數(shù)據(jù)集上預訓練,然后在小型肖像分割數(shù)據(jù)集上微調(diào)露久。
具體調(diào)用還是python來處理更米,我只貼一下效果圖。
相比較商用的實現(xiàn)毫痕,效果確實差了一個層次征峦。下一步考慮將該功能發(fā)布成http服務,估計要好好學習一下Flask消请,WSGI了栏笆。