語音合成學(xué)習(xí)（一）學(xué)習(xí)筆記
我們先要弄清楚一個問題：什么是語音，語音是由哪些成分構(gòu)成的？
語音就是人說的話，它的記錄形式是一段一段的波形竹勉。
語音有三大關(guān)鍵成分：信息音色和韻律。如果能將語音的成分充分自由地拆解和組合娄琉，將是對語音的巨大解放次乓，未來將有無限的想象發(fā)展空間吓歇。
語音信息是指說話人說了什么內(nèi)容。
語音的音色是指這段話是誰說的票腰，有一句俗語：未見其人先聞其聲城看。
韻律就是我們說話的方式，說話時我們聲音的高低杏慰、快慢等测柠。借用某位非著名相聲演員的話來說：人人都會說話，為什么你還要花錢來聽我說話缘滥？
一轰胁、介紹
定義
語音合成（text to speech），簡稱 TTS朝扼。將文字轉(zhuǎn)化為語音的一種技術(shù)赃阀，類似于人類的嘴巴，通過不同的音色說出想表達的內(nèi)容吟税。將計算機自己產(chǎn)生的凹耙、或外部輸入的文字信息轉(zhuǎn)變?yōu)榭梢月牭枚淖讼帧⒘骼臐h語口語輸出的技術(shù)肠仪。
合成過程
主要包括：獲取輸入的文本→語言處理→韻律處理→聲學(xué)處理→輸出音頻文件。其中語音識別主要是語言處理备典、韻律處理异旧、聲學(xué)處理三個階段的操作。
- 語言處理
該階段主要是模擬人類對大自然語言理解的過程提佣，主要工作有輸入文本分析吮蛹、分詞、語義分析拌屏，目的是讓計算機能夠盡可能準確理解輸入文本的含義并為后面的環(huán)節(jié)做準備潮针。
- 韻律處理
主要是為合成的語音規(guī)劃出音高、音長倚喂、音強等語音特征每篷，目的是為了讓合成的語音能表達確切的語意，使得輸出的. 音頻文件更符合實際端圈。
- 聲學(xué)處理
這個階段主要是把前兩個階段處理結(jié)果合成最終的音頻文件焦读。
二、應(yīng)用場景
-
熱門研究方向
- 語音轉(zhuǎn)換：說話人轉(zhuǎn)換舱权、語音到歌唱轉(zhuǎn)換矗晃、情感轉(zhuǎn)換、口音轉(zhuǎn)換等宴倍；
- 歌唱合成：文本到歌唱的轉(zhuǎn)換张症；
- AI虛擬人：可視化語音合成的技術(shù)仓技，現(xiàn)在熱門的元宇宙就依賴語音合成技術(shù)；
-
應(yīng)用方向
- 語音交互：機器人領(lǐng)域吠冤、智能車浑彰；
- 內(nèi)容生成：有聲讀物，微信聽書等拯辙；
- 輔助功能：對障礙人士起到輔助功能郭变，能夠讓他們發(fā)聲；
三涯保、技術(shù)原理
在語音合成技術(shù)中诉濒，主要分為語言分析部分和聲學(xué)系統(tǒng)部分，也稱為前端部分和后端部分夕春，語言分析部分主要是根據(jù)輸入的文字信息進行分析未荒，生成對應(yīng)的語言學(xué)規(guī)格書，想好該怎么讀及志；聲學(xué)系統(tǒng)部分主要是根據(jù)語音分析部分提供的語音學(xué)規(guī)格書片排，生成對應(yīng)的音頻，實現(xiàn)發(fā)聲的功能速侈。
文本前端任務(wù)
- 文本結(jié)構(gòu)與語種判斷
當需要合成的文本輸入后率寡，先要判斷是什么語種，例如中文倚搬，英文冶共，藏語，維語等每界，再根據(jù)對應(yīng)語種的語法規(guī)則捅僵，把整段文字切分為單個的句子，并將切分好的句子傳到后面的處理模塊眨层。
- 文本標準化
在輸入需要合成的文本中庙楚，有阿拉伯數(shù)字或字母，需要轉(zhuǎn)化為文字趴樱。根據(jù)設(shè)置好的規(guī)則馒闷，使合成文本標準化。例如伊佃， “請問您是尾號為8967的機主嗎窜司？” “8967”為阿拉伯數(shù)字，需要轉(zhuǎn)化為漢字“八九六七”航揉，這樣便于進行文字標音等后續(xù)的工作塞祈；再如，對于數(shù)字的讀法帅涂，剛才的“8967“為什么沒有轉(zhuǎn)化為”八千九百六十七“呢议薪？因為在文本標準化的規(guī)則中尤蛮，設(shè)定了”尾號為+數(shù)字“的格式規(guī)則，這種情況下數(shù)字按照這種方式播報斯议。這就是文本標準化中設(shè)置的規(guī)則产捞。
- 文本轉(zhuǎn)音素
在漢語的語音合成中，基本上是以拼音對文字標注的哼御，所以我們需要把文字轉(zhuǎn)化為相對應(yīng)的拼音坯临，但是有些字是多音字，怎么區(qū)分當前是哪個讀音恋昼，就需要通過分詞看靠，詞性句法分析，判斷當前是哪個讀音液肌，并且是幾聲的音調(diào)挟炬。
例如，“南京市長 江大橋”為“nan2 jing1 shi4 zhang3 jiang1 da4 qiao2”或者“南京市 長江大橋”“nan2 jing1 shi4 chang2 jiang1 da4 qiao3”嗦哆。
- 句讀韻律預(yù)測
人類在語言表達的時候總是附帶著語氣與感情谤祖，TTS合成的音頻是為了模仿真實的人聲，所以需要對文本進行韻律預(yù)測老速，什么地方需要停頓粥喜，停頓多久，哪個字或者詞語需要重讀烁峭，哪個詞需要輕讀等容客，實現(xiàn)聲音的高低曲折秕铛，抑揚頓挫约郁。
聲學(xué)系統(tǒng)處理
聲學(xué)系統(tǒng)部分目前主要有三種技術(shù)實現(xiàn)方式，分別為：波形拼接但两，參數(shù)合成以及端到端的語音合成技術(shù)鬓梅。
- 波形拼接語音合成
通過前期錄制大量的音頻，盡可能全的覆蓋所有的音節(jié)音素谨湘，基于統(tǒng)計規(guī)則的大語料庫拼接成對應(yīng)的文本音頻绽快，所以波形拼接技術(shù)通過已有庫中的音節(jié)進行拼接，實現(xiàn)語音合成的功能紧阔。一般此技術(shù)需要大量的錄音坊罢，錄音量越大，效果越好擅耽，一般做的好的音庫活孩，錄音量在50小時以上。
優(yōu)點：音質(zhì)好乖仇，情感真實憾儒。
缺點：需要的錄音量大询兴，覆蓋要求高，字間協(xié)同過渡生硬起趾，不平滑诗舰，不是很自然。
- 參數(shù)語音合成技術(shù)
參數(shù)合成技術(shù)主要是通過數(shù)學(xué)方法對已有錄音進行頻譜特性參數(shù)建模训裆，構(gòu)建文本序列映射到語音特征的映射關(guān)系眶根，生成參數(shù)合成器。所以當輸入一個文本時边琉，先將文本序列映射出對應(yīng)的音頻特征汛闸，再通過聲學(xué)模型（聲碼器）將音頻特征轉(zhuǎn)化為我們聽得懂的聲音。
優(yōu)點：錄音量小艺骂，可多個音色共同訓(xùn)練诸老，字間協(xié)同過渡平滑，自然等钳恕。
缺點：音質(zhì)沒有波形拼接的好别伏，機械感強，有雜音等忧额。
- 端到端語音合成技術(shù)
端到端語音合成技術(shù)是目前比較火的技術(shù)厘肮，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法，實現(xiàn)直接輸入文本或者注音字符 睦番，中間為黑盒部分类茂，然后輸出合成音頻，對復(fù)雜的語言分析部分得到了極大的簡化托嚣。所以端到端的語音合成技術(shù)巩检，大大降低了對語言學(xué)知識的要求，且可以實現(xiàn)多種語言的語音合成示启，不再受語言學(xué)知識的限制兢哭。通過端到端合成的音頻，效果得到的進一步的優(yōu)化夫嗓，聲音更加貼近真人迟螺。
優(yōu)點：對語言學(xué)知識要求降低，合成的音頻擬人化程度更高舍咖，效果好矩父，錄音量小。
缺點：性能大大降低排霉，合成的音頻不能人為調(diào)優(yōu)窍株。
以上主要是對語音合成技術(shù)原理的簡單介紹，也是目前語音合成主流應(yīng)用的技術(shù)。當前的技術(shù)也再迭代更新夹姥，像端到端技術(shù)目前比較火的wavenet杉武，Tacotron，Tacotron2以及deepvoice3等技術(shù)辙售，感興趣的朋友可以自己了解學(xué)習(xí)轻抱。
