Hi哨啃!大家好呀烧栋!我是你們努力的喵哥!
很多同學都對變聲成為別人的聲音比較感興趣拳球。畢竟审姓,聲音可是人的重要特征。而且祝峻,在沒有重大的身體特征變化情況邑跪,聲音的特征都會跟隨我們一輩子。
換個聲音呼猪,通常會有新的體驗画畅。通過變聲,突然間給朋友個驚喜宋距,感覺應該很不錯的轴踱。
是的,說的就是柯南那種效果谚赎!
變聲也是現(xiàn)在惡搞最常用的方式之一淫僻。在短視頻大行其道的今天诱篷,網(wǎng)上可以找到各式各樣的惡搞視頻。一些變聲視頻雳灵,娛樂效果滿滿棕所。看游戲直播的同學悯辙,應該對這個場景并不陌生吧琳省。萌萌的蘿莉,屏幕后的摳腳大漢躲撰。喬碧蘿针贬?
如果你是短視頻作者,肯定也少不了這個主題拢蛋。很多短視頻 App 也會帶有變聲的玩法桦他。
如果,那些語音助手 App 也能實現(xiàn)任意切換成任何人的語音谆棱,甚至能使用自己語音作為語音助手的聲音快压,是不是非常酷垃瞧?想想每天早上叫你起床的是你的某個女神的聲音嗓节!是不是一天感覺都精神了很多。
最常用的變身方式是使用各類變聲軟件皆警,去調(diào)節(jié)聲音的各類數(shù)字特征拦宣,以輸出特定風格的聲音。這種方式信姓,通惩宜恚可以實現(xiàn)把男聲轉(zhuǎn)化為女聲、把年輕人的聲音轉(zhuǎn)化為老人的聲音等意推。所以豆瘫,變聲軟件僅僅是聲音風格的改變,很難實現(xiàn)模擬相同的聲音菊值。
那么到這里外驱,喵哥就又要開始推薦開源項目了。這個人工智能項目腻窒,可以實現(xiàn)人聲的學習和模擬昵宇。比如,輸入一段周杰倫的唱歌的語音儿子,就可以模擬輸出周杰倫的聲音瓦哎。例如,輸入一段文字,以周杰倫的聲音念出來蒋譬。甚至割岛,你在唱歌的時候,實時將你歌聲轉(zhuǎn)化為周杰倫的聲音犯助。是不是非逞⑵幔酷?這個開源的人工智能項目就是 Real-Time Voice Cloning剂买。
Real-Time Voice Cloning 是“Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis(SV2TTS)”論文的實現(xiàn)惠爽,這是一個三階深度學習框架,允許從幾秒鐘的音頻中創(chuàng)建一個數(shù)字化的語音雷恃,并使用它來調(diào)節(jié)訓練的“文本轉(zhuǎn)語音”模型疆股,以推廣到新的聲音费坊。此項目中帶有一個實時工作的聲碼器倒槐。
安裝和使用
1.安裝要求
需要Python 3.6或3.7才能運行該工具箱。
安裝PyTorch(> = 1.0.1)附井。
安裝ffmpeg讨越。
運行pip install -r requirements.txt以安裝其余必需的軟件包。
2.下載預訓練的模型
在 Wiki 的 Pretrained-models 中下載最新版本永毅。
3.測試配置(可選)
在下載任何數(shù)據(jù)集之前把跨,您可以先使用以下方法測試配置:
python demo_cli.py
如果所有測試都通過,那就 OK沼死。
4.下載數(shù)據(jù)集(可選)
對于僅使用工具箱的情況着逐,建議下載 LibriSpeech/train-clean-100。提取內(nèi)容?/LibriSpeech/train-clean-100 的是你選擇的目錄意蛀。
工具箱中支持其他數(shù)據(jù)集耸别,請參見 Wiki。
您也可以不下載任何數(shù)據(jù)集县钥,但是您將需要自己的數(shù)據(jù)作為音頻文件秀姐,或者必須在工具箱中記錄下來。
5.啟動工具箱
然后若贮,您可以嘗試使用工具箱:
python demo_toolbox.py -d
或者
python demo_toolbox.py
取決于您是否下載了任何數(shù)據(jù)集省有。
6.啟用GPU支持(可選)
注意:啟用GPU支持是很多工作。如果您要訓練自己的模型谴麦,則需要進行設(shè)置蠢沿。
pip install -r requirements_gpu.txt
此外,您需要確保正確安裝了GPU驅(qū)動程序匾效,并且您的CUDA版本與PyTorch和Tensorflow安裝相匹配搏予。
最后
喵哥要特別友情提醒下大家,聲音也是有版權(quán)的,可不要亂搞哦雪侥!特別是名人的聲音碗殷!
Real-Time Voice Cloning 項目的作者是 Corentin Jemine 。該項目是去年開源在 Github 的速缨,共有12位貢獻者锌妻。Real-Time Voice Cloning 在 Github 上共收獲了 18.4k Star。
Corentin Jemine 現(xiàn)在已經(jīng)是全職在開發(fā)該項目的商業(yè)升級版本旬牲。所以仿粹,基于? Real-Time Voice Cloning 之上 Resemble.AI 提供了更好的體驗。
項目地址:https://github.com/CorentinJ/Real-Time-Voice-Cloning
Resemble.AI:https://www.resemble.ai/