Neil Zhu，簡書ID Not_GOD，University AI 創(chuàng)始人 & Chief Scientist奴紧，致力于推進(jìn)世界人工智能化進(jìn)程。制定并實(shí)施 UAI 中長期增長戰(zhàn)略和目標(biāo)晶丘，帶領(lǐng)團(tuán)隊(duì)快速成長為人工智能領(lǐng)域最專業(yè)的力量黍氮。
作為行業(yè)領(lǐng)導(dǎo)者，他和UAI一起在2014年創(chuàng)建了TASA（中國最早的人工智能社團(tuán)）, DL Center（深度學(xué)習(xí)知識中心全球價值網(wǎng)絡(luò)）浅浮，AI growth（行業(yè)智庫培訓(xùn)）等滤钱，為中國的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分。此外脑题，他還參與或者舉辦過各類國際性的人工智能峰會和活動件缸，產(chǎn)生了巨大的影響力，書寫了60萬字的人工智能精品技術(shù)內(nèi)容叔遂，生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門書《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》他炊，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號和媒體轉(zhuǎn)載與連載争剿。曾經(jīng)受邀為國內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程，均受學(xué)生和老師好評痊末。
Syntagmatic 關(guān)系發(fā)現(xiàn)：互信息
互信息 I(X;Y)：衡量信息降低
在我們知道 Y 的情形下能夠降低 X 多少熵蚕苇？
屬性：
- 非負(fù)性：I(X;Y) >= 0
- 對稱性：I(X;Y) = I(Y;X)
- 獨(dú)立性：I(X;Y) = 0 iff X 和 Y 是獨(dú)立的
當(dāng)我們固定 X 來對不同的 Y 進(jìn)行排名時，I(X;Y) 和 H(X|Y) 給出了相同的順序凿叠。但是 I(X;Y) 允許我們比較不同的 (X,Y) 對涩笤。
用作 syntagmatic 關(guān)系挖掘的互信息 I(X;Y)
當(dāng) “eats” 出現(xiàn)時，其他什么詞也可能會出現(xiàn)盒件？
也就是其他哪些詞有與“eats”更高的互信息蹬碧？
互信息越高，出現(xiàn)的可能性就越大
使用 KL-divergence 來重寫互信息
散度度量了實(shí)際的聯(lián)合分布與在獨(dú)立假設(shè)下的期望分布的散度（divergence）炒刁。散度越大恩沽，互信息就越大。
互信息中用到的概率
上圖中翔始，細(xì)分了各種共現(xiàn)的情形罗心。
不同概率之間的關(guān)系
這些都是相應(yīng)的概率之間的限制條件。
互信息的計算
依賴數(shù)據(jù)的概率預(yù)測
一般來說城瞎，都是通過共現(xiàn)數(shù)據(jù)來估計概率值
平滑：解決計數(shù)為 0 的出現(xiàn)次數(shù)
通過引入偽數(shù)據(jù)讓所有的事件都有非零的計數(shù)
syntagmatic 關(guān)系發(fā)現(xiàn)的總結(jié)
- syntagmatic 關(guān)系可以通過度量兩個詞的共現(xiàn)的相關(guān)性進(jìn)行發(fā)現(xiàn)
- 來自信息論的三個概念：
- 熵 H(X) ：衡量了隨機(jī)變量 X 的不確定性
- 條件熵 H(X|Y)：已知 Y 的情況下 X 的熵
- 互信息 I(X;Y)：由于知道Y 導(dǎo)致的 X 的信息下降
- 互信息提供了一種發(fā)現(xiàn) syntagmatic 關(guān)系的原理性方法
詞關(guān)聯(lián)挖掘的總結(jié)
- 兩種基本關(guān)聯(lián)：paradigmatic 和 syntagmatic
- 應(yīng)用在任何的語言的任意項(xiàng)上（如渤闷，短語或者實(shí)體作為單元）
- 純統(tǒng)計觀點(diǎn)可以用來發(fā)現(xiàn)兩種關(guān)聯(lián)（也可以進(jìn)行組合完成聯(lián)合分析）
- 一般不需要人工，應(yīng)用在任何文本上
- 對“context” 和 “segment”不同的定義對應(yīng)了不同應(yīng)用場景
- 發(fā)現(xiàn)的關(guān)聯(lián)可以支持很多其他的應(yīng)用
