ASR基本概念

一入客、語音的構成

1. 為什么有monophone和triphone

coarticulation協(xié)同發(fā)音(指的是一個音受前后相鄰音的影響而發(fā)生變化铛铁,從發(fā)聲機理上看就是人的發(fā)聲器官在一個音轉向另一個音時其特性只能漸變,從而使得后一個音的頻譜與其他條件下的頻譜產(chǎn)生差異),所以將一個音素劃分為幾個亞音素單元。如:數(shù)字“three”霎奢,音素的第一部分與在它之前的音素存在關聯(lián),中間部分是穩(wěn)定的部分饼灿,而最后一部分則與下一個音素存在關聯(lián)幕侠。

2. senone多元音素

考慮上下文關聯(lián),一個senone的上下文依賴比單純的左右上下文復雜得多碍彭,它是一個可以被決策樹或者其他方式來定義的復雜函數(shù)(英語的上下文相關建模通常以音素為基元晤硕,由于有些音素對其后音素的影響是相似的,因而可以通過音素解碼狀態(tài)的聚類進行模型參數(shù)的共享庇忌。聚類的結果稱為senone舞箍。決策樹用來實現(xiàn)高效的triphone對senone的對應,通過回答一系列前后音所屬類別(元/輔音皆疹、清/濁音等等)

3. 音節(jié)syllables

phones->subword units = syllables音節(jié)是一個比較穩(wěn)定的實體疏橄,因為當語音變得比較快的時候,音素往往會發(fā)生改變略就,但是音節(jié)卻不變捎迫。

4. 單詞word

subwords->word,相對于全部組合表牢,只有少數(shù)組合有意義(是存在的單詞)

5. 話語utterances

words+filters(呼吸窄绒,um,uh崔兴,咳嗽等)=utterance

二颗祝、識別過程

1. 概述

waveform->根據(jù)silences分割為多個utterances浊闪,識別每個utterance

2. 特征

waveform分割成10ms的frame恼布,每個frame提取39維特征

3. 模型

senone->GMM

4. 匹配

特征向量和模型匹配

三螺戳、模型

1. 聲學模型

每個senone的聲學屬性,其包括不依賴于上下文的屬性(每個音素phone最大可能的特征向量)和依賴于上下文的屬性(根據(jù)上下文構建的senone)

2. 字典

從單詞words到音素phones之間的映射折汞。還可以通過運用機器學習算法去學習得到一些復雜的函數(shù)去完成映射功能倔幼。

3. 語言模型

用來約束單詞搜索的。它定義了哪些詞能跟在上一個已經(jīng)識別的詞的后面(匹配是一個順序的處理過程)爽待,這樣就可以為匹配過程排除一些不可能的單詞损同。

四、其他

1.lattice

代表識別的不同結果的有向圖鸟款。一般來說膏燃,很難去獲得一個最好的語音匹配結果。所以Lattices就是一個比較好的格式去存放語音識別的中間結果何什。

2. N-best lists

和lattices有點像组哩,但是它沒有l(wèi)attices那么密集(也就是保留的結果沒有l(wèi)attices多)。(N-best搜索和多遍搜索:為在搜索中利用各種知識源处渣,通常要進行多遍搜索伶贰,第一遍使用代價低的知識源(如聲學模型、語言模型和音標詞典)罐栈,產(chǎn)生一個候選列表或詞候選網(wǎng)格黍衙,在此基礎上進行使用代價高的知識源(如4階或5階的N-Gram、4階或更高的上下文相關模型)的第二遍搜索得到最佳路徑荠诬。)

3. Word confusion networks (sausages)

從lattice的邊緣得到的一個嚴格的節(jié)點順序序列琅翻。

參考資料
https://blog.csdn.net/zouxy09/article/details/7941055
https://cmusphinx.github.io/wiki/tutorialconcepts/

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市柑贞,隨后出現(xiàn)的幾起案子方椎,更是在濱河造成了極大的恐慌,老刑警劉巖凌外,帶你破解...
    沈念sama閱讀 219,039評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件辩尊,死亡現(xiàn)場離奇詭異,居然都是意外死亡康辑,警方通過查閱死者的電腦和手機摄欲,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,426評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來疮薇,“玉大人胸墙,你說我怎么就攤上這事“粗洌” “怎么了迟隅?”我有些...
    開封第一講書人閱讀 165,417評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我智袭,道長奔缠,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,868評論 1 295
  • 正文 為了忘掉前任吼野,我火速辦了婚禮校哎,結果婚禮上,老公的妹妹穿的比我還像新娘瞳步。我一直安慰自己闷哆,他們只是感情好,可當我...
    茶點故事閱讀 67,892評論 6 392
  • 文/花漫 我一把揭開白布单起。 她就那樣靜靜地躺著抱怔,像睡著了一般。 火紅的嫁衣襯著肌膚如雪嘀倒。 梳的紋絲不亂的頭發(fā)上屈留,一...
    開封第一講書人閱讀 51,692評論 1 305
  • 那天,我揣著相機與錄音括儒,去河邊找鬼绕沈。 笑死,一個胖子當著我的面吹牛帮寻,可吹牛的內容都是我干的乍狐。 我是一名探鬼主播,決...
    沈念sama閱讀 40,416評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼固逗,長吁一口氣:“原來是場噩夢啊……” “哼浅蚪!你這毒婦竟也來了?” 一聲冷哼從身側響起烫罩,我...
    開封第一講書人閱讀 39,326評論 0 276
  • 序言:老撾萬榮一對情侶失蹤惜傲,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后贝攒,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體盗誊,經(jīng)...
    沈念sama閱讀 45,782評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,957評論 3 337
  • 正文 我和宋清朗相戀三年隘弊,在試婚紗的時候發(fā)現(xiàn)自己被綠了哈踱。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,102評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡梨熙,死狀恐怖开镣,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情咽扇,我是刑警寧澤邪财,帶...
    沈念sama閱讀 35,790評論 5 346
  • 正文 年R本政府宣布陕壹,位于F島的核電站,受9級特大地震影響树埠,放射性物質發(fā)生泄漏糠馆。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,442評論 3 331
  • 文/蒙蒙 一弥奸、第九天 我趴在偏房一處隱蔽的房頂上張望榨惠。 院中可真熱鬧,春花似錦盛霎、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,996評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至掉奄,卻和暖如春规个,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背姓建。 一陣腳步聲響...
    開封第一講書人閱讀 33,113評論 1 272
  • 我被黑心中介騙來泰國打工诞仓, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人速兔。 一個月前我還...
    沈念sama閱讀 48,332評論 3 373
  • 正文 我出身青樓墅拭,卻偏偏與公主長得像,于是被迫代替她去往敵國和親涣狗。 傳聞我的和親對象是個殘疾皇子谍婉,可洞房花燭夜當晚...
    茶點故事閱讀 45,044評論 2 355

推薦閱讀更多精彩內容