詞向量《A La Carte Embedding: Cheap but Effective Induction of Semantic Feature Vectors》


論文
代碼

一渠脉、背景

詞的向量表示宇整,在很多NLP任務中常用預訓練好的詞向量表作為模型的輸入。該論文提出了一個A La Carte詞向量表示模型芋膘,相對于word2vec鳞青,它利用了更多的詞的上下文信息。實驗數(shù)據(jù)使用的是SemEval 2013为朋、2015比賽的多語言詞義消歧任務(Mutilingual Word Sense Disambiguation Task)臂拓,包含5種語言,英語习寸、法語胶惰、德語、意大利語霞溪、西班牙語孵滞。

二中捆、模型

假設:
1)有一個大的文本語料集C_{v}={text_{1},text_{2},text_{3}...}
2)文本語料集中的詞w,構成一個詞表V
3)詞w的上下文詞序列用c表示坊饶,它由固定大小的窗口截取而來
4)模型需要訓練的詞向量v_{w}\in \mathbb{R}^zsshsoc泄伪,詞向量表為vw,模型的目標是訓練出一個好的文本特征表示v_{f}\in \mathbb{R}^iuy5x2v

三幼东、理論分析





四臂容、實驗結果



最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市根蟹,隨后出現(xiàn)的幾起案子脓杉,更是在濱河造成了極大的恐慌,老刑警劉巖简逮,帶你破解...
    沈念sama閱讀 217,734評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件球散,死亡現(xiàn)場離奇詭異,居然都是意外死亡散庶,警方通過查閱死者的電腦和手機蕉堰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來悲龟,“玉大人屋讶,你說我怎么就攤上這事⌒虢蹋” “怎么了皿渗?”我有些...
    開封第一講書人閱讀 164,133評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長轻腺。 經(jīng)常有香客問我乐疆,道長,這世上最難降的妖魔是什么贬养? 我笑而不...
    開封第一講書人閱讀 58,532評論 1 293
  • 正文 為了忘掉前任挤土,我火速辦了婚禮,結果婚禮上误算,老公的妹妹穿的比我還像新娘仰美。我一直安慰自己,他們只是感情好儿礼,可當我...
    茶點故事閱讀 67,585評論 6 392
  • 文/花漫 我一把揭開白布筒占。 她就那樣靜靜地躺著,像睡著了一般蜘犁。 火紅的嫁衣襯著肌膚如雪翰苫。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,462評論 1 302
  • 那天,我揣著相機與錄音奏窑,去河邊找鬼导披。 笑死,一個胖子當著我的面吹牛埃唯,可吹牛的內(nèi)容都是我干的撩匕。 我是一名探鬼主播,決...
    沈念sama閱讀 40,262評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼墨叛,長吁一口氣:“原來是場噩夢啊……” “哼止毕!你這毒婦竟也來了?” 一聲冷哼從身側響起漠趁,我...
    開封第一講書人閱讀 39,153評論 0 276
  • 序言:老撾萬榮一對情侶失蹤扁凛,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后闯传,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體谨朝,經(jīng)...
    沈念sama閱讀 45,587評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,792評論 3 336
  • 正文 我和宋清朗相戀三年甥绿,在試婚紗的時候發(fā)現(xiàn)自己被綠了字币。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,919評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡共缕,死狀恐怖洗出,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情图谷,我是刑警寧澤翩活,帶...
    沈念sama閱讀 35,635評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站蜓萄,受9級特大地震影響隅茎,放射性物質發(fā)生泄漏澄峰。R本人自食惡果不足惜嫉沽,卻給世界環(huán)境...
    茶點故事閱讀 41,237評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望俏竞。 院中可真熱鬧绸硕,春花似錦、人聲如沸魂毁。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽席楚。三九已至咬崔,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背垮斯。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評論 1 269
  • 我被黑心中介騙來泰國打工郎仆, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人兜蠕。 一個月前我還...
    沈念sama閱讀 48,048評論 3 370
  • 正文 我出身青樓扰肌,卻偏偏與公主長得像,于是被迫代替她去往敵國和親熊杨。 傳聞我的和親對象是個殘疾皇子曙旭,可洞房花燭夜當晚...
    茶點故事閱讀 44,864評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 本文關鍵詞:NLP、詞向量晶府、word2vec桂躏、ELMo、語言模型該系列更新的第二篇已在個人微信公眾號「AI極客 」...
    流川楓AI閱讀 27,541評論 6 48
  • 從今天起郊霎,我們一起來學習詞向量word2vector(簡稱w2v)相關的知識沼头。雖然,對于NLP來說书劝,w2v技術和操...
    Stack_empty閱讀 4,098評論 0 11
  • References: 《speech and language processing 》2nd & 3rd 《統(tǒng)...
    藝術叔閱讀 7,517評論 1 8
  • 王小暖进倍,彩票營銷自媒體第一人。 從事彩票行業(yè)七年购对,撰寫彩票營銷文章近百篇猾昆,公眾號“王小暖的暖小王”定期更新,呈現(xiàn)更...
    王小暖LOTTERY閱讀 3,361評論 0 2
  • 夜轉涼 星北移 眾門戶 皆安寧 偶有瓦片輕響 檐西喵嗚一聲 墻角伏螽斯 一生無垢 長得有趣 行的方正 喜樂好詩 最...
    葉抽抽閱讀 260評論 2 2