如何構(gòu)建一個識別英語的程序
現(xiàn)在我們不討論你如何學(xué)英語,而是讓你構(gòu)建一個可以識別、交流英語的程序逢唤,你會如何設(shè)計?
簡單的需求分析
以中文為例涤浇,當(dāng)你聽到一個女人對一個男人說:“你是一個男人嗎鳖藕?”時,你會收集到哪些信息只锭?你需要哪些信息來明確這個女人想表達(dá)的確切意思著恩?
首先是聽力輸入,你需要確保麥克風(fēng)錄入了音頻,然后拿到的聲波內(nèi)容是 U#@&!&&喉誊。之后我們需要將聲波內(nèi)容輸入到一大堆分析器中進(jìn)行分析邀摆,并得到比較精準(zhǔn)的意圖。
第一個可能是性別分析器裹驰,通過一定的規(guī)則識別出這是一個男性的聲音還是女性的聲音隧熙。因為這句話是男的說出來還是女的說出來表達(dá)的意思是不一樣的。
第二個就是內(nèi)容識別器幻林,先是加載粵語匹配引擎和粵語語料庫發(fā)現(xiàn)聲波無法匹配解析贞盯,那么換成普通話引擎和語料庫。此時如果你的語料庫里有 “你”沪饺、“是”躏敢、“一個”、“男人”整葡、“嗎” 這些聲音素材件余,那么就可以匹配解析出這句話:“你是一個男人嗎?”遭居。換言之啼器,如果你沒有粵語語料庫和解析引擎,即便是給你一段粵語錄音你也聽不懂俱萍。如果這句話有一個生僻單詞你語料庫里沒有端壳,那么也是無法識別出來。
之后還有更多識別器枪蘑,比如年齡损谦、情緒識別器、重音和疑問語氣識別句等岳颇,這些因素共同決定了這句話究竟想要傳達(dá)什么意思照捡。如果是一個女性的激動的感嘆語氣“你是一個男人嗎!”话侧,那么可以推測出這個女的跟男的有一定的關(guān)系栗精,這個男的做出了一些傷天害理的事情導(dǎo)致這個女性在質(zhì)問。如果是一個輕聲細(xì)語的疑問句“你是一個男人嗎瞻鹏?”术羔,可能是一名女性想確認(rèn)對方的性別。當(dāng)然更準(zhǔn)確表達(dá)這個意圖的句子應(yīng)該是“你是男性嗎乙漓?”或者“男的女的级历?”。
比較基礎(chǔ)的方案設(shè)計
上面需求分析只是簡單的介紹了 聲音 -> 聽力識別器 -> 意圖 的過程叭披,實際上語言交流是聽說讀寫寥殖,其中包含兩個識別器(聽力識別器和視力識別器)玩讳,一個核心理解器,兩個表達(dá)器(口語表達(dá)器和書寫表達(dá)器)嚼贡。通過對應(yīng)的實際場景熏纯,我們可以簡單的梳理出對應(yīng)需要的功能。
聽力識別器
聽力能力
說明:要求可以輸入聲音并轉(zhuǎn)換成一種可分析的信號粤策。
訓(xùn)練:買個好麥克風(fēng)樟澜,對應(yīng)人類是保護(hù)好耳朵和聽力。
口音識別器
說明:各類方言比如粵語叮盘,各種口音比如東北口音秩贰、廣東口音、英式發(fā)音和美式發(fā)音柔吼。
語言特性識別器
說明:語言之間會有不同特性毒费,比如中文沒有略讀,都是一個一個字念出來愈魏,而英文會為了說話省勁而略讀或者連讀觅玻,比如 “drink it” 并不是單個蹦的 “準(zhǔn)克一特”,而是類似 “準(zhǔn)kei特”培漏。中文的 “喝它” 就是 “喝它”溪厘,不會有類似 “赫特” 之類的變化。
訓(xùn)練:擴(kuò)充特殊語言引擎的匹配規(guī)則牌柄,擴(kuò)充語料庫畸悬,當(dāng)聽到 “準(zhǔn)kei特” 可以識別出是 “drink it”。
音量調(diào)節(jié)和雜音處理器
說明:可以通過算法過濾無用雜音友鼻,并將小音量調(diào)大使其清晰傻昙。人類天然進(jìn)化出這種能力闺骚,無需特殊訓(xùn)練彩扔。
語氣、性別僻爽、身份虫碉、語速識別器
說明:人類天然進(jìn)化出這種能力,無需特殊訓(xùn)練胸梆。
上下文緩存器
說明:交流過程要有上下文內(nèi)容緩存敦捧,結(jié)合輸入理解器。
視力識別器
視力能力
圖形識別器
說明:不同字體碰镜、變形(英文大小寫邑闲、中文繁簡體等)都可以識別出來具體字符寸潦,同時需要識別標(biāo)點(diǎn)符號等輸入理解器。
訓(xùn)練:識別能力、精準(zhǔn)度和速度呀枢。比如一眼看出 message 和 massage 是不一樣的捍掺。
上下文緩存器
理解器
理解器可以說是最重要的部分了,也是最難的部分
語料庫
說明:字母、單詞课兄、發(fā)音、多重語境含義晨继、歷史文化背景烟阐、不同形態(tài),同義詞反義詞相近詞紊扬。
訓(xùn)練:需要長期積累和擴(kuò)充蜒茄,需要大量訓(xùn)練。
識別引擎
說明:單詞拼裝起來的句型句式珠月、語法扩淀、時態(tài)含義和規(guī)則、標(biāo)點(diǎn)符號啤挎、單復(fù)數(shù)驻谆、慣用表達(dá)。
訓(xùn)練:單點(diǎn)突破庆聘,專項訓(xùn)練胜臊,逐步體系化積累。
思考和思維能力
說明:針對意圖結(jié)合之前的記憶以及經(jīng)驗得出自己想要表達(dá)的意圖伙判。
訓(xùn)練:結(jié)構(gòu)性表達(dá)象对,思維能力鍛煉,思考和總結(jié)能力宴抚。這個與語言無關(guān)勒魔。
上下文緩存器
口語表達(dá)器
當(dāng)理解器思考運(yùn)算并得到想要表達(dá)的意圖之后,就需要開始表達(dá)傳遞出去菇曲。
意圖語料組裝器
說明:將意圖結(jié)合語料中的單詞冠绢、句型句式、慣用表達(dá)進(jìn)行匹配組合常潮,挑選出最符合你意圖的語句弟胀。
發(fā)音器
說明:根據(jù)組裝出來的內(nèi)容,結(jié)合特殊的連讀喊式、略讀等語言特性孵户,轉(zhuǎn)換成發(fā)聲信號。對應(yīng)人類的話是控制舌頭岔留、聲帶和呼吸系統(tǒng)的肌肉使其變成對應(yīng)形狀夏哭,讓氣流通過聲帶發(fā)出對應(yīng)聲音。
書寫表達(dá)器
意圖語料組裝器
書寫表達(dá)器
說明:將語料組裝結(jié)果以視覺的方式表達(dá)献联,對于人類是控制手部肌肉書寫出對應(yīng)形狀竖配。
從上面可以看出厕吉,口語聽力相對于閱讀寫作更加困難,主要因為實時性的要求械念。你必須迅速反饋不經(jīng)過思考头朱,這要求你要無意識的去用英語表達(dá),所以語言學(xué)習(xí)沒有技巧龄减,只有大量訓(xùn)練项钮。