Python文本分析--1自然語言處理基礎(chǔ)(三)

1.2?語言學(xué)

我們已經(jīng)了解了自然語言是什么曙聂,語言是如何學(xué)習(xí)和使用的,以及語言習(xí)得的起源吃引。事實(shí)上筹陵,語言學(xué)家正是研究和學(xué)習(xí)與語言相關(guān)的研究人員或?qū)W者。嚴(yán)格講镊尺,語言學(xué)的是對(duì)語言的科學(xué)研究朦佩,包括語言的形式和語法,語言使用時(shí)所描述的意義和語義庐氮,以及使用的語境语稠。語言學(xué)的起源可以追溯到公元前4世紀(jì),當(dāng)時(shí)的印度學(xué)者和語言學(xué)家Panini將梵語描述進(jìn)行規(guī)范弄砍。語言學(xué)一詞最早是在1847年被定義為對(duì)語言的科學(xué)研究仙畦,在此之前,語音學(xué)一詞表示的也是同樣的意思音婶。雖然文本分析不需要對(duì)語言學(xué)進(jìn)行詳盡的探索慨畸,但需要了解語言學(xué)的不同領(lǐng)域的應(yīng)用,因?yàn)槠渲幸恍╊I(lǐng)域在自然語言處理和文本分析算法中得到了廣泛的應(yīng)用衣式。下面來看語言學(xué)的主要究領(lǐng)域寸士。

?語音學(xué)(Phonetics):語音學(xué)是研究人類聲道在講話時(shí)所發(fā)出的聲音的聲學(xué)特性。包括它們是如何產(chǎn)生的碴卧,以及人類是如何感知的弱卡,等聲學(xué)特征。人類語言中最小的單位稱之為音素住册,它通常是與特定的語言相關(guān)婶博,而不是一個(gè)如電話這種通用的術(shù)語定義。

?音系學(xué)(Phonology):這是一門研究人腦解析聲音模式的學(xué)科荧飞,用于區(qū)分不同的音素凡人。詳細(xì)包括音素的結(jié)構(gòu)、組合和演繹等叹阔,音系學(xué)通常要考慮到某種特定的語言划栓。英語由大約45個(gè)音素組成。音系學(xué)通常不只是研究音素条获,還包括重音、聲調(diào)和音節(jié)結(jié)構(gòu)蒋歌。

?句法(Syntax):通常是對(duì)句子帅掘、短語委煤、單詞及其結(jié)構(gòu)的研究,包括研究單詞在語法上是如何組合成短語和句子的修档。短語或句子中單詞的順序非常重要碧绞,因?yàn)轫樞蚩梢酝耆淖兙渥拥囊馑肌?/p>

?語義(Semantics):對(duì)語言含義的研究,可進(jìn)一步細(xì)分為詞匯語義和成分語義吱窝。

? ? 詞匯語義(Lexical semantics):使用形態(tài)學(xué)和語法研究單詞和符號(hào)的含義讥邻。

? ? 成分語義(Compositional semantics):研究單詞之間的關(guān)系和單詞的組合,理解短語和句子的含義以及它們之間的關(guān)系院峡。

形態(tài)學(xué)(Morphology):根據(jù)其定義兴使,語素是具有獨(dú)特含義的最小語言單位,包括單詞照激、前綴发魄、后綴等等,它們都有自己獨(dú)特的含義俩垃。形態(tài)學(xué)是研究語言中這些獨(dú)特的單位或語素的結(jié)構(gòu)和含義励幼。有特定的規(guī)則和語法來控制語素的組合方式。

詞匯(Lexicon):是一門研究語言所使用的單詞和短語的特性以及它們是如何構(gòu)建語言詞匯的學(xué)科口柳。包括什么類型的聲音與單詞的含義相關(guān)聯(lián)苹粟,以及單詞所屬的詞類和詞形形式。

語用學(xué)(Pragmatics):研究語言和非語言因素跃闹,如語境和情景嵌削,是如何影響話語所表達(dá)的含義。包括嘗試在交談中推論是否有隱藏或間接的含義辣卒。

語篇分析(Discourse analysis):以句子的形式分析人與人交談時(shí)相互之間的語言或信息交流掷贾。這些對(duì)話可以被說,寫荣茫,甚至是標(biāo)記(sign)想帅。

文體學(xué)(Stylistics):是一門以寫作風(fēng)格為重點(diǎn)的語言研究,包括語調(diào)啡莉、重音港准、對(duì)話、語法和語音類型咧欣。

符號(hào)學(xué)(Semiotics):研究標(biāo)記浅缸、符號(hào)和標(biāo)記過程,以及它們?nèi)绾蝹鬟_(dá)意義的學(xué)科魄咕。如類比衩椒、隱喻和象征之類的研究都包含在這個(gè)領(lǐng)域中栗涂。

這些都是語言學(xué)主要的研究領(lǐng)域,但語言學(xué)本身是一個(gè)巨大的研究課題竿痰,其范圍遠(yuǎn)遠(yuǎn)大于這里所提到的這些褪测。但是,語言句法和語義是一些最重要的概念阁将,并且常常是構(gòu)成自然語言處理(NLP)的基礎(chǔ)膏秫。因此,我們將在下一節(jié)中進(jìn)一步詳細(xì)地進(jìn)行介紹做盅。為了便于理解缤削,我們會(huì)用一些實(shí)際案例來闡明一些概念〈盗瘢可以在我的GitHub庫(kù)中下載第1章的Jupyter?notebook亭敢,地址為https://github.com/dipanjans/text-analytics-with-python /tree/master/new-second edition,運(yùn)行這些示例之前腊尚,首先要在Python環(huán)境中加載以下依賴吨拗。第2章會(huì)詳細(xì)說明如何安裝和設(shè)置Python和特定框架。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末婿斥,一起剝皮案震驚了整個(gè)濱河市劝篷,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌民宿,老刑警劉巖娇妓,帶你破解...
    沈念sama閱讀 217,084評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異活鹰,居然都是意外死亡哈恰,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,623評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門志群,熙熙樓的掌柜王于貴愁眉苦臉地迎上來着绷,“玉大人,你說我怎么就攤上這事锌云≤剑” “怎么了?”我有些...
    開封第一講書人閱讀 163,450評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵桑涎,是天一觀的道長(zhǎng)彬向。 經(jīng)常有香客問我,道長(zhǎng)攻冷,這世上最難降的妖魔是什么娃胆? 我笑而不...
    開封第一講書人閱讀 58,322評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮等曼,結(jié)果婚禮上里烦,老公的妹妹穿的比我還像新娘凿蒜。我一直安慰自己,他們只是感情好招驴,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,370評(píng)論 6 390
  • 文/花漫 我一把揭開白布篙程。 她就那樣靜靜地躺著,像睡著了一般别厘。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上拥诡,一...
    開封第一講書人閱讀 51,274評(píng)論 1 300
  • 那天触趴,我揣著相機(jī)與錄音,去河邊找鬼渴肉。 笑死冗懦,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的仇祭。 我是一名探鬼主播披蕉,決...
    沈念sama閱讀 40,126評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼乌奇!你這毒婦竟也來了没讲?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,980評(píng)論 0 275
  • 序言:老撾萬榮一對(duì)情侶失蹤礁苗,失蹤者是張志新(化名)和其女友劉穎爬凑,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體试伙,經(jīng)...
    沈念sama閱讀 45,414評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡嘁信,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,599評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了疏叨。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片潘靖。...
    茶點(diǎn)故事閱讀 39,773評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖蚤蔓,靈堂內(nèi)的尸體忽然破棺而出卦溢,到底是詐尸還是另有隱情,我是刑警寧澤昌粤,帶...
    沈念sama閱讀 35,470評(píng)論 5 344
  • 正文 年R本政府宣布既绕,位于F島的核電站,受9級(jí)特大地震影響涮坐,放射性物質(zhì)發(fā)生泄漏凄贩。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,080評(píng)論 3 327
  • 文/蒙蒙 一袱讹、第九天 我趴在偏房一處隱蔽的房頂上張望疲扎。 院中可真熱鬧昵时,春花似錦、人聲如沸椒丧。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,713評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽壶熏。三九已至句柠,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間棒假,已是汗流浹背溯职。 一陣腳步聲響...
    開封第一講書人閱讀 32,852評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留帽哑,地道東北人谜酒。 一個(gè)月前我還...
    沈念sama閱讀 47,865評(píng)論 2 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像妻枕,于是被迫代替她去往敵國(guó)和親僻族。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,689評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容