2019-10-19 英文名詞備忘錄

Attention機(jī)制

Attention機(jī)制通俗的講就是把注意力集中放在重要的點上,而忽略其他不重要的因素臼氨。其中重要程度的判斷取決于應(yīng)用場景杈绸。


Embedding

在數(shù)學(xué)上表示一個maping, f: X ->Y

也就是一個function冷尉,其中該函數(shù)是injective(就是我們所說的單射函數(shù)糊闽,每個Y只有唯一的X對應(yīng)罗岖,反之亦然)和structure-preserving (結(jié)構(gòu)保存确买,比如在X所屬的空間上X1 < X2,那么映射后在Y所屬空間上同理 Y1 < Y2)。

word embedding候生,就是找到一個映射或者函數(shù)同眯,生成在一個新的空間上的表達(dá),該表達(dá)就是word representation唯鸭。


Residuals?殘差


BERT(Bidirectional?Encoder?Representations from?Transformers) 基于transform 的雙向編碼表示

其中Transformer 是一種基于 encoder-decoder 結(jié)構(gòu)的模型

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末须蜗,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌明肮,老刑警劉巖菱农,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異柿估,居然都是意外死亡循未,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進(jìn)店門秫舌,熙熙樓的掌柜王于貴愁眉苦臉地迎上來的妖,“玉大人,你說我怎么就攤上這事足陨∩┧冢” “怎么了?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵钠右,是天一觀的道長赋元。 經(jīng)常有香客問我,道長飒房,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任媚值,我火速辦了婚禮狠毯,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘褥芒。我一直安慰自己嚼松,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布锰扶。 她就那樣靜靜地躺著献酗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪坷牛。 梳的紋絲不亂的頭發(fā)上罕偎,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天,我揣著相機(jī)與錄音京闰,去河邊找鬼颜及。 笑死,一個胖子當(dāng)著我的面吹牛蹂楣,可吹牛的內(nèi)容都是我干的俏站。 我是一名探鬼主播,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼痊土,長吁一口氣:“原來是場噩夢啊……” “哼肄扎!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤犯祠,失蹤者是張志新(化名)和其女友劉穎萌丈,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體雷则,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡辆雾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了月劈。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片度迂。...
    茶點故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖猜揪,靈堂內(nèi)的尸體忽然破棺而出惭墓,到底是詐尸還是另有隱情,我是刑警寧澤而姐,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布腊凶,位于F島的核電站,受9級特大地震影響拴念,放射性物質(zhì)發(fā)生泄漏钧萍。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一政鼠、第九天 我趴在偏房一處隱蔽的房頂上張望风瘦。 院中可真熱鬧,春花似錦公般、人聲如沸万搔。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽瞬雹。三九已至,卻和暖如春刽虹,著一層夾襖步出監(jiān)牢的瞬間酗捌,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工状婶, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留意敛,地道東北人。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓膛虫,卻偏偏與公主長得像草姻,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子稍刀,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內(nèi)容

  • 本文上兩篇系列 NLP的巨人肩膀(上) NLP的巨人肩膀(中) 4.6 Bidirectional Encoder...
    weizier閱讀 6,406評論 1 22
  • 本文代碼 Embedding(嵌入)在數(shù)學(xué)上表示一個maping, f: X -> Y撩独, 也就是一個functio...
    W_zp閱讀 3,439評論 0 1
  • 文章作者:Tyan博客:noahsnail.com | CSDN | 簡書 聲明:作者翻譯論文僅為學(xué)習(xí)敞曹,如有侵權(quán)請...
    SnailTyan閱讀 1,907評論 0 2
  • 前言:這個世界上澳迫,除血緣至親之外,是否有一個人給你關(guān)懷剧劝,給你溫暖橄登,給你養(yǎng)分? 我們不是血緣至親讥此,你是我的初中老師拢锹,...
    糖_af21閱讀 216評論 0 0
  • 總在不經(jīng)意的年紀(jì),回首過往萄喳,縱然發(fā)現(xiàn)光景綿長卒稳。 初中畢業(yè),我如愿考進(jìn)了縣重點高中他巨。父親為了讓我能夠再創(chuàng)佳績充坑,替老張...
    天才多啦a夢閱讀 1,827評論 36 37