網(wǎng)絡(luò)輿情也進(jìn)入了大數(shù)據(jù)時(shí)代磕瓷,事實(shí)上大數(shù)據(jù)分析已經(jīng)成為當(dāng)前輿情領(lǐng)域熱點(diǎn)盒齿。但是從輿情分析的重要目的念逞,輿情決策的角度講,當(dāng)前輿情分析的現(xiàn)狀還存在不足边翁,在輿情案例研究翎承、 政策法規(guī)和領(lǐng)域知識(shí)等方面出現(xiàn)了供需不匹配的問(wèn)題,也就是輿情知識(shí)供給的問(wèn)題倒彰。復(fù)旦大學(xué)审洞、合肥工業(yè) 大學(xué)在內(nèi)研究機(jī)構(gòu)都在致力于大數(shù)據(jù)和知識(shí)工程的研究就 是要拓展大數(shù)據(jù)到大知識(shí),將大數(shù)據(jù)中離散的多元信息待讳、 碎片化知識(shí)統(tǒng)一建模芒澜,用以構(gòu)建新型大數(shù)據(jù)知識(shí)服務(wù)體系, 所以解決大數(shù)據(jù)環(huán)境下的輿情知識(shí)供給問(wèn)題還要從大數(shù)據(jù)知識(shí)服務(wù)相關(guān)理論和技術(shù)方面著手
作者:魚君鏈接:https://zhuanlan.zhihu.com/p/37542416
關(guān)鍵詞:大數(shù)據(jù)分析创淡,自然語(yǔ)言處理痴晦。
不管學(xué)什么東西,都要跟大牛去學(xué)琳彩,真正的大盘茏茫可以把一件事解釋的清清楚楚。If you can't explain it simply, you don't understand it well enough.跟大牛學(xué)東西露乏,你不會(huì)覺(jué)得難碧浊,一切都覺(jué)得很自然,順利成章的就掌握了整套的知識(shí)瘟仿∠淙瘢【我現(xiàn)在是在摘抄一些覺(jué)得很重要的話,知識(shí)的搬運(yùn)工劳较,希望能夠記住并為我所用】
看了language modeling驹止,克林介紹了語(yǔ)言模型里的通用的知識(shí),比如定義了語(yǔ)言模型是由一個(gè)有限的單詞集合V和每個(gè)句子在由單詞集合V構(gòu)成的所有句子集合V‘下的概率函數(shù)構(gòu)成观蜗。定義了如何計(jì)算每個(gè)句子的概率臊恋,每個(gè)句子的概率就是按照順序出現(xiàn)句中所有單詞的概率。利用Markov模型墓捻,感覺(jué)就是在已出現(xiàn)某單詞序列(序列長(zhǎng)度可以是1抖仅,2,3砖第。撤卢。。)的情況下厂画,出現(xiàn)單詞w的概率是多大,這是個(gè)條件概率拷邢。用最大似然估計(jì)法是統(tǒng)計(jì)我們數(shù)據(jù)中這些序列出現(xiàn)的次數(shù)袱院。也介紹了如果出現(xiàn)了概率為0時(shí),如何通過(guò)線性權(quán)值利用已有的統(tǒng)計(jì)數(shù)據(jù)來(lái)計(jì)算概率,我們的perplexity值的意義忽洛,越小表示模型越準(zhǔn)確腻惠。【這段我寫的大概是屎吧】