Spleeter-利用tensorflow分離人聲和伴奏

一、項目概述

剪切視頻時,經(jīng)常會有想要的配樂,但是又沒有單獨的伴奏來使用候醒,而目前常用的軟件來直接分解原聲和伴奏的效果又不太理想,這時候使用spleeter則就非常的高效方便且實用了杂瘸,話不多說倒淫,先看一下分離的效果,以周杰倫的《說好不哭》為例败玉,可以看一下實現(xiàn)分離后的效果

人聲:https://www.qbitai.com/wp-content/uploads/2019/11/s2.mp3
伴奏:https://www.qbitai.com/wp-content/uploads/2019/11/s1.mp3

可以聽到敌土,分離后的伴奏幾乎感覺不到換氣聲和壓抑感,效果非常出色运翼,那么就記錄一下如何實現(xiàn)Spleeter分解歌曲吧返干!

二、環(huán)境配置

工欲善其事血淌,必先利其器犬金。想要實現(xiàn)音頻分解,首先需要配置好所需環(huán)境六剥。
1.第一步,首先安裝conda峰伙,推薦使用anaconda navigator,選擇相應安裝包安裝使用疗疟。
2.第二步,安裝完成后瞳氓,使用conda安裝ffmpeg 和 libsndfile

conda install -c conda-forge ffmpeg libsndfile
添加ffmpeg和libsndfile成功

3.第三步策彤,使用pip安裝spleeter,這一步經(jīng)常安裝失敗,或者是下載tensorflow時特別慢店诗,建議使用國內(nèi)鏡像(見下表)下載2.3.0版本

pip install spleeter
/*
阿里云 
http://mirrors.aliyun.com/pypi/simple/

中國科技大學 
https://pypi.mirrors.ustc.edu.cn/simple/

豆瓣(douban) 
http://pypi.douban.com/simple/

清華大學 
https://pypi.tuna.tsinghua.edu.cn/simple/

中國科學技術(shù)大學 
http://pypi.mirrors.ustc.edu.cn/simple/
*/
添加spleeter成功

4.下載訓練模型裹刮,解壓放在pretrained_models文件夾下,常用的是2stems.
5.最后庞瘸,就可以直接分解音頻文件了

spleeter separate -p spleeter:2stems -o output 說好不哭.mp3 //可以使用spleeter separate --help查看命令幫助
分解成功

分解成功
三捧弃、集成flutter,制作手機圖形化界面

目前flutter平臺已經(jīng)有了tflite_flutter 插件擦囊,可以幫助我們實現(xiàn)簡單违霞、高效的把 TensorFlow 模型集成到 Flutter 應用。

tflite_flutter 插件的核心特性:
1.插件提供了與 TFLite Java 和 Swift API 相似的 Dart API瞬场,所以其靈活性和在這些平臺上的效果是完全一樣的买鸽;
2.插件通過 dart:ffi 直接與 TensorFlow Lite C API 相綁定,所以它比其它平臺集成方式更加高效贯被;
3.無需編寫特定平臺的代碼眼五;
4.通過 NNAPI 提供加速支持,在 Android 上使用 GPU Delegate彤灶,在 iOS 上使用 Metal Delegate看幼。

后續(xù)會嘗試將此分離模型集成到flutter項目中,以延后記J嘞!W莱浴!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末苞轿,一起剝皮案震驚了整個濱河市茅诱,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌搬卒,老刑警劉巖瑟俭,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異契邀,居然都是意外死亡摆寄,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進店門坯门,熙熙樓的掌柜王于貴愁眉苦臉地迎上來微饥,“玉大人,你說我怎么就攤上這事古戴∏烽伲” “怎么了?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵现恼,是天一觀的道長肃续。 經(jīng)常有香客問我黍檩,道長,這世上最難降的妖魔是什么始锚? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任刽酱,我火速辦了婚禮,結(jié)果婚禮上瞧捌,老公的妹妹穿的比我還像新娘棵里。我一直安慰自己,他們只是感情好察郁,可當我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布衍慎。 她就那樣靜靜地躺著,像睡著了一般皮钠。 火紅的嫁衣襯著肌膚如雪稳捆。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天麦轰,我揣著相機與錄音乔夯,去河邊找鬼。 笑死款侵,一個胖子當著我的面吹牛末荐,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播新锈,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼甲脏,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了妹笆?” 一聲冷哼從身側(cè)響起块请,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎拳缠,沒想到半個月后墩新,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡窟坐,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年海渊,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片哲鸳。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡臣疑,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出徙菠,到底是詐尸還是另有隱情朝捆,我是刑警寧澤,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布懒豹,位于F島的核電站芙盘,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏脸秽。R本人自食惡果不足惜儒老,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望记餐。 院中可真熱鬧驮樊,春花似錦、人聲如沸片酝。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽雕沿。三九已至练湿,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間审轮,已是汗流浹背肥哎。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留疾渣,地道東北人篡诽。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓,卻偏偏與公主長得像榴捡,于是被迫代替她去往敵國和親杈女。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,802評論 2 345

推薦閱讀更多精彩內(nèi)容