論文閱讀
number headings: auto, first-level 2, max 4, _.1.1
name_en: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers
name_ch: 神經(jīng)網(wǎng)絡(luò)編解碼器語(yǔ)言模型實(shí)現(xiàn)零樣本TTS
paper_addr: http://arxiv.org/abs/2301.02111
date_read: 2023-04-25
date_publish: 2023-01-05
tags: ['深度學(xué)習(xí)','語(yǔ)音合成']
author: Chengyi Wang抒寂，Microsoft
code: https://github.com/microsoft/unilm/tree/master/valle
1 讀后感
語(yǔ)音合成模型结啼，輸入是待合成的文本，3秒的錄音蓬推，輸出為與錄音一致的合成后的語(yǔ)音內(nèi)容妆棒。
2 與傳統(tǒng)TTS的差異
之前的語(yǔ)音模型是：音素->梅爾倒譜->音頻；VALL-E是：音素->離散編碼->音頻沸伏。
3 主要貢獻(xiàn)
? 我們提出了VALL-E糕珊，有效使用上下文學(xué)習(xí)能力的TTS 框架，音頻編解碼器代碼作為中間表示毅糟，以取代傳統(tǒng)的梅爾聲譜圖红选。
? 通過(guò)利用大量的半監(jiān)督數(shù)據(jù)在說(shuō)話者維度構(gòu)建了一個(gè)通用的 TTS 系統(tǒng)。
? VALL-E 能夠以相同的輸入文本提供不同的輸出姆另，并保持聲音提示的聲學(xué)環(huán)境和說(shuō)話者的情緒喇肋。
? 在零樣本場(chǎng)景中提示來(lái)合成具有高說(shuō)話人相似度的自然語(yǔ)音坟乾。
4 背景
合成音頻數(shù)據(jù)的挑戰(zhàn)，包括每個(gè)時(shí)間步驟需要生成的概率數(shù)量多和序列長(zhǎng)度長(zhǎng)的問(wèn)題蝶防。為了解決這些問(wèn)題甚侣，使用語(yǔ)音量化技術(shù)來(lái)壓縮數(shù)據(jù)和提高推理速度。矢量量化廣泛應(yīng)用于自監(jiān)督語(yǔ)音模型中進(jìn)行特征提取间学，如vq-wav2vec和HuBERT殷费。
最近的研究表明，自監(jiān)督模型中的編碼也可以重構(gòu)內(nèi)容低葫，并且推理速度比WaveNet快详羡。但是，說(shuō)話人身份已被丟棄嘿悬，重構(gòu)質(zhì)量很差实柠。而AudioLM模型有效解決了以上問(wèn)題。深度學(xué)習(xí)在音頻編碼方面也取得了顯著提升善涨，這里使用了Encodec作為音頻編碼器窒盐。
5 方法
5.1 問(wèn)題表述
其中 y 是音頻樣本，x = {x0, x1, . . . , xL} 是其對(duì)應(yīng)的音素轉(zhuǎn)錄躯概，我們使用預(yù)訓(xùn)練的神經(jīng)編解碼器模型將每個(gè)音頻樣本編碼成離散的聲學(xué)代碼登钥，表示為Encodec(y) = C， T是下采樣的話語(yǔ)長(zhǎng)度娶靡。重建波形 Decodec(C) ≈ y^。
推理過(guò)程中看锉，給定音素序列和未見(jiàn)過(guò)的說(shuō)話人的 3 秒登記錄音姿锭，首先通過(guò)訓(xùn)練的語(yǔ)言模型估計(jì)具有相應(yīng)內(nèi)容和說(shuō)話人語(yǔ)音的聲學(xué)代碼矩陣，模型推理伯铣，然后用解碼器合成高質(zhì)量的語(yǔ)音呻此。
5.2 訓(xùn)練
以分層的方式設(shè)計(jì)了兩個(gè)條件語(yǔ)言模型，一個(gè)用于生成聲音c1（自回歸AR）腔寡，一個(gè)用于精調(diào)聲音c2-8（NAR非自回歸）焚鲜。AR 模型和 NAR 模型的結(jié)合在語(yǔ)音質(zhì)量和推理速度之間提供了良好的折衷。
自回歸為了生成具有特定內(nèi)容的語(yǔ)音放前，使用音素序列作為語(yǔ)言模型的音素提示忿磅。使用非自回歸 (NAR) 模型生成其他七個(gè)量化器的代碼。與 AR 不同的是凭语，NAR 模型允許每個(gè) token 參與 self-attention 層中的所有輸入 token葱她。
5.3 推理
如果該模型無(wú)需微調(diào)即可為看不見(jiàn)的說(shuō)話人合成高質(zhì)量的語(yǔ)音，則該模型被認(rèn)為具有上下文學(xué)習(xí)能力似扔。
首先將文本轉(zhuǎn)換為音素序列吨些，并將錄音編碼為聲學(xué)矩陣搓谆，形成音素提示和聲學(xué)提示。對(duì)于 AR 模型豪墅，使用以提示為條件的基于采樣的方法泉手，可以顯著增加輸出的多樣性。對(duì)于 NAR 模型偶器，使用貪心解碼來(lái)選擇概率最高的標(biāo)記斩萌。最后，使用解碼器生成以八個(gè)代碼序列為條件的波形状囱。
