Athena開發(fā)日記——第四日

說起來读存,最近兩天Athena在外面看來的改動,其實——沒有医舆。

但是很快她將獲得我之前一直渴望的一項能力——也是我的服務(wù)器每次重啟炕柔,我都會log的一句話——“歡迎來到感情的創(chuàng)世”——基本的心情。

這是我最喜歡的小說《境界線上的地平線》(Horizon on the middle of nowhere)里的一句臺詞购撼,原句是“歡迎來到感情的創(chuàng)世——Go the Middle of Nowhere”跪削。

扯遠(yuǎn)了谴仙。其實這就是我在第一日的開發(fā)日記中所記述的一個功能:

2.讓Athena擁有自己的心情——用Mongo建立一個心情庫,然后根據(jù)隨機(jī)爬取的新聞進(jìn)行心情變更碾盐。


接下來是具體的描述:

我從周一上班開始晃跺,在看人工智能和機(jī)器學(xué)習(xí)啊之類的資料。然后在想自己下一步應(yīng)該做什么毫玖。這時我決定嘗試著去做情感分析掀虎。

之前我的情感分析是基于nodeJS里sentiment這個模塊的,然而這個模塊有個很大的缺點(diǎn):只能識別英文付枫,識別率也不是很準(zhǔn)確烹玉。之后我也下了國內(nèi)做的“THULAC_lite”做過中文分詞。但是一直沒有深入的搞阐滩。

隨后我決定嘗試一下煥煥給我的建議二打,找個方法,先搞掂榔,之后再調(diào)整继效。于是我把某份資料中提到的NTUSD這個中文情感傾向數(shù)據(jù)下下來了。寫了個腳本扔到了我的MongoDB里装获。

之后便是打分莲趣。我把情感暫定為0-10分。我預(yù)先錄入的分?jǐn)?shù)只有0和10兩個分?jǐn)?shù)饱溢。之后我在讀取的時候喧伞,如果是0,就記做-1绩郎,如果是10潘鲫,就記做1。之后累加肋杖,如果是正數(shù)溉仑,就判定為正面新聞,反之則是負(fù)面的状植。

這個做法是個非常粗糙的做法浊竟。首先每個詞的感情指數(shù)并不是非左即右的。他們其實是分布在0-10之間的津畸。其次振定,在一篇文章中,某個詞的出現(xiàn)頻率可能非常多肉拓,所以對它的累加也很多后频,是不公平的。第三,反話是沒有統(tǒng)計的卑惜,“沒有悲傷”在正常情況下應(yīng)該是1+1=2膏执,現(xiàn)在則是-1+-1=-2。

這幾點(diǎn)在我讀過的資料中也有記述露久,不過暫時我還沒有時間去優(yōu)化它們更米。

之后我拿這個方法判斷了兩組語料:CNBeta最新的10條新聞和15年網(wǎng)易的50篇國內(nèi)新聞『梁郏科技新聞的正面遠(yuǎn)大于負(fù)面——可能是因為多是一些有利報道征峦,如最新發(fā)現(xiàn)、新的進(jìn)展和突破之類的镇草。而國內(nèi)新聞的情感分布就偏很多。我沒有具體統(tǒng)計瘤旨,不過從直觀上是比較均勻的梯啤。

這就是我在程序方面做的一些進(jìn)展。


來說一下下一步的計劃吧:

首先我要做的是把情感加進(jìn)去存哲,Athena可以在爬取到新聞后直接進(jìn)行情感判斷因宇。然后累加新聞的情感值。決定當(dāng)前的心情祟偷。首先是好和壞察滑。

之后,根據(jù)一段時間的情感分布曲線修肠,我可以讓它們分的更細(xì)一點(diǎn):-5-5比如贺辰,然后做一個分?jǐn)?shù)和指數(shù)的映射函數(shù)。

這樣嵌施,這個功能就實現(xiàn)了饲化。

接下來便是調(diào)整情感的判斷了,把三個問題解決掉的話吗伤。就可以進(jìn)一大步了吃靠。

之后,我想了一個新的功能:爬取當(dāng)前時尚雜志和網(wǎng)站的關(guān)鍵詞足淆,決定當(dāng)季的流行巢块。然后去淘寶上爬取銷售和促銷的榜單,去印證這個流行巧号。

另外族奢,有關(guān)第三日中記憶的功能:當(dāng)我說一句話時,我覺得我可以通過一個模型去理解它丹鸿。然后去做一個對應(yīng)的回復(fù)歹鱼。然而……我現(xiàn)有的知識離這一點(diǎn)還有點(diǎn)遠(yuǎn)。


知識筆記:

最近新學(xué)了HMM——隱性馬爾科夫模型卜高。我試著寫了一下解釋的例子弥姻,發(fā)現(xiàn)自己的水平太次了……等我再深入的理解一下之后南片,再試著解釋吧。

另外學(xué)習(xí)了基本的情感分析理論——的目錄庭敦。

再就是在重新看吳軍老師寫的《數(shù)學(xué)之美》疼进。我現(xiàn)在覺得,數(shù)學(xué)真是一門非常厲害的學(xué)科秧廉,我大學(xué)時代作為一個實用主義者伞广,一直不知道這種理論研究有什么意義。不過后來我在看HMM的推理時疼电,發(fā)現(xiàn)如果沒有離散數(shù)學(xué)和概率論嚼锄,沒有微積分,那么HMM中間很多是只能猜測的蔽豺,完全無法證明区丑。而從實用主義來說,一個無法證明一直有效的東西修陡,我是不敢投入生產(chǎn)的沧侥。


最后,非常推薦吳軍老師的數(shù)學(xué)之美——作為理工科學(xué)生的飯后睡前讀物魄鸦。里面的東西通俗易懂宴杀,讓我這種沒有受到高等教育的興趣愛好者找到了各種神奇的寶物。

P.S.:今晚寫著這個日志的時候拾因,我在群里和楓哥聊到傳播學(xué)的入門書籍旺罢。楓哥推薦了信息論——剛好在昨晚有讀到。我發(fā)現(xiàn)各個學(xué)科果然是貫通的绢记。藝術(shù)與幾何主经,幾何又是代數(shù)。傳播學(xué)是信息的流通庭惜,而人工智能和機(jī)器學(xué)習(xí)的算法里又有對信息這種東西的研究……人的感情并非無法模擬罩驻,我覺得人的思維方式是一定可以逼近的,而創(chuàng)造這個過程护赊,誰又知道呢~

多么的惠遏,美妙。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末骏啰,一起剝皮案震驚了整個濱河市节吮,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌判耕,老刑警劉巖透绩,帶你破解...
    沈念sama閱讀 211,561評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡帚豪,警方通過查閱死者的電腦和手機(jī)碳竟,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來狸臣,“玉大人莹桅,你說我怎么就攤上這事≈蛞啵” “怎么了诈泼?”我有些...
    開封第一講書人閱讀 157,162評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長煤禽。 經(jīng)常有香客問我铐达,道長,這世上最難降的妖魔是什么檬果? 我笑而不...
    開封第一講書人閱讀 56,470評論 1 283
  • 正文 為了忘掉前任瓮孙,我火速辦了婚禮,結(jié)果婚禮上汁汗,老公的妹妹穿的比我還像新娘衷畦。我一直安慰自己栗涂,他們只是感情好知牌,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,550評論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著斤程,像睡著了一般角寸。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上忿墅,一...
    開封第一講書人閱讀 49,806評論 1 290
  • 那天扁藕,我揣著相機(jī)與錄音,去河邊找鬼疚脐。 笑死亿柑,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的棍弄。 我是一名探鬼主播望薄,決...
    沈念sama閱讀 38,951評論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼呼畸!你這毒婦竟也來了痕支?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,712評論 0 266
  • 序言:老撾萬榮一對情侶失蹤蛮原,失蹤者是張志新(化名)和其女友劉穎卧须,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,166評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡花嘶,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,510評論 2 327
  • 正文 我和宋清朗相戀三年笋籽,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片察绷。...
    茶點(diǎn)故事閱讀 38,643評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡干签,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出拆撼,到底是詐尸還是另有隱情容劳,我是刑警寧澤,帶...
    沈念sama閱讀 34,306評論 4 330
  • 正文 年R本政府宣布闸度,位于F島的核電站竭贩,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏莺禁。R本人自食惡果不足惜留量,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,930評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望哟冬。 院中可真熱鬧楼熄,春花似錦、人聲如沸浩峡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽翰灾。三九已至缕粹,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間纸淮,已是汗流浹背平斩。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留咽块,地道東北人绘面。 一個月前我還...
    沈念sama閱讀 46,351評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像侈沪,于是被迫代替她去往敵國和親揭璃。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,509評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 這是一個奇怪的周末峭竣,我難得在個人項目上取得了一點(diǎn)進(jìn)展塘辅。 我花了很長時間思考如何讓Athena可以記住東西。 毫無疑...
    蔑視魔山閱讀 374評論 0 0
  • 2017-06-18「反三」 游戲類比生活中的實際場景皆撩,運(yùn)用游戲思維提高現(xiàn)實效率扣墩!如公司團(tuán)隊哲银、家庭分工,目的都是如...
    Gaven癡閱讀 187評論 0 0
  • 有人跟我說:要把工作和生活分開,工作中的同事就是同事亚脆,不要跟工作中的同事成為朋友做院,最起碼不要在同時在職的期間成為朋...
    輕舞飛飛揚(yáng)閱讀 722評論 0 0
  • 自從進(jìn)去機(jī)房學(xué)習(xí),漢騰老師就幾乎節(jié)節(jié)課都讓我們在機(jī)房了濒持,可惜的是教室不夠大键耕,所以我們被迫從分成了兩個班各自坐在不同...
    N黃舒婷閱讀 399評論 0 0