Neil Zhu，簡書ID Not_GOD，University AI 創(chuàng)始人 & Chief Scientist责鳍，致力于推進世界人工智能化進程。制定并實施 UAI 中長期增長戰(zhàn)略和目標榆俺，帶領團隊快速成長為人工智能領域最專業(yè)的力量。
作為行業(yè)領導者坞淮，他和UAI一起在2014年創(chuàng)建了TASA（中國最早的人工智能社團）, DL Center（深度學習知識中心全球價值網(wǎng)絡）茴晋，AI growth（行業(yè)智庫培訓）等，為中國的人工智能人才建設輸送了大量的血液和養(yǎng)分回窘。此外诺擅，他還參與或者舉辦過各類國際性的人工智能峰會和活動，產(chǎn)生了巨大的影響力啡直，書寫了60萬字的人工智能精品技術內(nèi)容烁涌，生產(chǎn)翻譯了全球第一本深度學習入門書《神經(jīng)網(wǎng)絡與深度學習》，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號和媒體轉載與連載酒觅。曾經(jīng)受邀為國內(nèi)頂尖大學制定人工智能學習規(guī)劃和教授人工智能前沿課程撮执，均受學生和老師好評。
Syntagmatic 關系發(fā)現(xiàn)：條件熵
如果我們關于 Text segment 知道的更多呢舷丹？
預測問題：“meat” 出現(xiàn)在這個 segment 中么抒钱？
- “eats”的出現(xiàn)幫助“meat”出現(xiàn)預測么？
- 會降低關于“meat”的不確定性么颜凯，ie谋币，H(X_{meat})？
或者如果我們知道“eats”沒有出現(xiàn)的知識症概，會有類似的幫助么蕾额？
條件熵
條件熵：完備定義
一般來說，對于任何的離散隨機變量 X 和 Y穴豫，我們有 H(X) >= H(X|Y)
那么 H(X|Y) 最小可能的值是什么凡简？
使用條件熵來刻畫 syntagmatic 關系
哪個更小精肃？H(X_meat | X_the) 還是 H(X_meat | X_eats)？
對于哪個詞 w帜乞，H(X_meat | X_w) 能取到其最小值（0）司抱？
對于哪個詞 w，H(X_meat | X_w) 能取到其最大值黎烈，H(X_meat)习柠？
用來挖掘 syntagmatic 關系的條件熵
- 對每個詞 W1
- 對每個其他詞 W2匀谣，計算條件熵 H(X_W1 | X_W2)
- 對所有候選詞按照 H(X_W1 | X_W2) 進行升序排序
- 選擇前面的候選詞作為潛在的于 W1 有 syntagmatic 關系
- 然而，盡管 H(X_W1 | X_W2) 和 H(X_W1 | X_W3) 是可比得资溃， H(X_W1 | X_W2) 和 H(X_W3 | X_W2) 卻不可以武翎！
** 我們?nèi)绾文軌驈囊粋€ collection 中挖掘出 最強 K 個 syntagmatic 關系**
