5秒克隆語音,我也能用周杰倫的聲音唱歌了

Hi哨啃!大家好呀烧栋!我是你們努力的喵哥!

很多同學都對變聲成為別人的聲音比較感興趣拳球。畢竟审姓,聲音可是人的重要特征。而且祝峻,在沒有重大的身體特征變化情況邑跪,聲音的特征都會跟隨我們一輩子。

換個聲音呼猪,通常會有新的體驗画畅。通過變聲,突然間給朋友個驚喜宋距,感覺應該很不錯的轴踱。

是的,說的就是柯南那種效果谚赎!

變聲也是現(xiàn)在惡搞最常用的方式之一淫僻。在短視頻大行其道的今天诱篷,網(wǎng)上可以找到各式各樣的惡搞視頻。一些變聲視頻雳灵,娛樂效果滿滿棕所。看游戲直播的同學悯辙,應該對這個場景并不陌生吧琳省。萌萌的蘿莉,屏幕后的摳腳大漢躲撰。喬碧蘿针贬?

如果你是短視頻作者,肯定也少不了這個主題拢蛋。很多短視頻 App 也會帶有變聲的玩法桦他。

如果,那些語音助手 App 也能實現(xiàn)任意切換成任何人的語音谆棱,甚至能使用自己語音作為語音助手的聲音快压,是不是非常酷垃瞧?想想每天早上叫你起床的是你的某個女神的聲音嗓节!是不是一天感覺都精神了很多。

最常用的變身方式是使用各類變聲軟件皆警,去調(diào)節(jié)聲音的各類數(shù)字特征拦宣,以輸出特定風格的聲音。這種方式信姓,通惩宜恚可以實現(xiàn)把男聲轉(zhuǎn)化為女聲、把年輕人的聲音轉(zhuǎn)化為老人的聲音等意推。所以豆瘫,變聲軟件僅僅是聲音風格的改變,很難實現(xiàn)模擬相同的聲音菊值。

那么到這里外驱,喵哥就又要開始推薦開源項目了。這個人工智能項目腻窒,可以實現(xiàn)人聲的學習和模擬昵宇。比如,輸入一段周杰倫的唱歌的語音儿子,就可以模擬輸出周杰倫的聲音瓦哎。例如,輸入一段文字,以周杰倫的聲音念出來蒋譬。甚至割岛,你在唱歌的時候,實時將你歌聲轉(zhuǎn)化為周杰倫的聲音犯助。是不是非逞⑵幔酷?這個開源的人工智能項目就是 Real-Time Voice Cloning剂买。

Real-Time Voice Cloning 是“Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis(SV2TTS)”論文的實現(xiàn)惠爽,這是一個三階深度學習框架,允許從幾秒鐘的音頻中創(chuàng)建一個數(shù)字化的語音雷恃,并使用它來調(diào)節(jié)訓練的“文本轉(zhuǎn)語音”模型疆股,以推廣到新的聲音费坊。此項目中帶有一個實時工作的聲碼器倒槐。

安裝和使用

1.安裝要求

需要Python 3.6或3.7才能運行該工具箱。

安裝PyTorch(> = 1.0.1)附井。

安裝ffmpeg讨越。

運行pip install -r requirements.txt以安裝其余必需的軟件包。

2.下載預訓練的模型

在 Wiki 的 Pretrained-models 中下載最新版本永毅。

3.測試配置(可選)

在下載任何數(shù)據(jù)集之前把跨,您可以先使用以下方法測試配置:

  • python demo_cli.py

    如果所有測試都通過,那就 OK沼死。

    4.下載數(shù)據(jù)集(可選)

    對于僅使用工具箱的情況着逐,建議下載 LibriSpeech/train-clean-100。提取內(nèi)容?/LibriSpeech/train-clean-100 的是你選擇的目錄意蛀。

    工具箱中支持其他數(shù)據(jù)集耸别,請參見 Wiki。

    您也可以不下載任何數(shù)據(jù)集县钥,但是您將需要自己的數(shù)據(jù)作為音頻文件秀姐,或者必須在工具箱中記錄下來。

    5.啟動工具箱

    然后若贮,您可以嘗試使用工具箱:

  • python demo_toolbox.py -d或者python demo_toolbox.py

    取決于您是否下載了任何數(shù)據(jù)集省有。

    6.啟用GPU支持(可選)

    注意:啟用GPU支持是很多工作。如果您要訓練自己的模型谴麦,則需要進行設(shè)置蠢沿。

  • pip install -r requirements_gpu.txt

    此外,您需要確保正確安裝了GPU驅(qū)動程序匾效,并且您的CUDA版本與PyTorch和Tensorflow安裝相匹配搏予。

    最后

    喵哥要特別友情提醒下大家,聲音也是有版權(quán)的,可不要亂搞哦雪侥!特別是名人的聲音碗殷!

    Real-Time Voice Cloning 項目的作者是 Corentin Jemine 。該項目是去年開源在 Github 的速缨,共有12位貢獻者锌妻。Real-Time Voice Cloning 在 Github 上共收獲了 18.4k Star。

    Corentin Jemine 現(xiàn)在已經(jīng)是全職在開發(fā)該項目的商業(yè)升級版本旬牲。所以仿粹,基于? Real-Time Voice Cloning 之上 Resemble.AI 提供了更好的體驗。

    項目地址:https://github.com/CorentinJ/Real-Time-Voice-Cloning

    Resemble.AI:https://www.resemble.ai/


  • ?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
    • 序言:七十年代末原茅,一起剝皮案震驚了整個濱河市吭历,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌擂橘,老刑警劉巖晌区,帶你破解...
      沈念sama閱讀 211,376評論 6 491
    • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異通贞,居然都是意外死亡朗若,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
      沈念sama閱讀 90,126評論 2 385
    • 文/潘曉璐 我一進店門昌罩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來哭懈,“玉大人,你說我怎么就攤上這事茎用∏沧埽” “怎么了?”我有些...
      開封第一講書人閱讀 156,966評論 0 347
    • 文/不壞的土叔 我叫張陵轨功,是天一觀的道長旭斥。 經(jīng)常有香客問我,道長夯辖,這世上最難降的妖魔是什么琉预? 我笑而不...
      開封第一講書人閱讀 56,432評論 1 283
    • 正文 為了忘掉前任,我火速辦了婚禮蒿褂,結(jié)果婚禮上圆米,老公的妹妹穿的比我還像新娘。我一直安慰自己啄栓,他們只是感情好娄帖,可當我...
      茶點故事閱讀 65,519評論 6 385
    • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著昙楚,像睡著了一般近速。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
      開封第一講書人閱讀 49,792評論 1 290
    • 那天削葱,我揣著相機與錄音奖亚,去河邊找鬼。 笑死析砸,一個胖子當著我的面吹牛昔字,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播首繁,決...
      沈念sama閱讀 38,933評論 3 406
    • 文/蒼蘭香墨 我猛地睜開眼作郭,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了弦疮?” 一聲冷哼從身側(cè)響起夹攒,我...
      開封第一講書人閱讀 37,701評論 0 266
    • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎胁塞,沒想到半個月后咏尝,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
      沈念sama閱讀 44,143評論 1 303
    • 正文 獨居荒郊野嶺守林人離奇死亡闲先,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
      茶點故事閱讀 36,488評論 2 327
    • 正文 我和宋清朗相戀三年状土,在試婚紗的時候發(fā)現(xiàn)自己被綠了无蜂。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片伺糠。...
      茶點故事閱讀 38,626評論 1 340
    • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖斥季,靈堂內(nèi)的尸體忽然破棺而出训桶,到底是詐尸還是另有隱情,我是刑警寧澤酣倾,帶...
      沈念sama閱讀 34,292評論 4 329
    • 正文 年R本政府宣布舵揭,位于F島的核電站,受9級特大地震影響躁锡,放射性物質(zhì)發(fā)生泄漏午绳。R本人自食惡果不足惜,卻給世界環(huán)境...
      茶點故事閱讀 39,896評論 3 313
    • 文/蒙蒙 一映之、第九天 我趴在偏房一處隱蔽的房頂上張望拦焚。 院中可真熱鬧,春花似錦杠输、人聲如沸赎败。這莊子的主人今日做“春日...
      開封第一講書人閱讀 30,742評論 0 21
    • 文/蒼蘭香墨 我抬頭看了看天上的太陽僵刮。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間搞糕,已是汗流浹背勇吊。 一陣腳步聲響...
      開封第一講書人閱讀 31,977評論 1 265
    • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留窍仰,地道東北人萧福。 一個月前我還...
      沈念sama閱讀 46,324評論 2 360
    • 正文 我出身青樓,卻偏偏與公主長得像辈赋,于是被迫代替她去往敵國和親鲫忍。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
      茶點故事閱讀 43,494評論 2 348