2018年故响,對于NLP領(lǐng)域來說是最讓人激動的一年挪钓。先后誕生的ELMo蹂析、GPT怜跑、BERT在預(yù)訓(xùn)練語言模型方面的成功給NLP領(lǐng)域的研究帶來了新的姿勢...
GPT(Generative Pre-Training)出自2018年論文《Improving Language Understanding b...
之前簡單寫過一個iOS自動打包腳本,在實(shí)際使用過程中逐步增加了一些新的feature: 為方便使用,將部分參數(shù)做成可選并提供默認(rèn)值; 打adho...
Transformer由google在2017年發(fā)表的論文《Attention is All You Need》中提出查排。從當(dāng)前的時間節(jié)點(diǎn)來看,毫...
2014年抄沮,Google Mind發(fā)表的《Recurrent Models of Visual Attention》論文點(diǎn)燃了Attention...
ELMo(Embedding from Language Models)跋核,出自NAACL 2018的一篇論文"Deep contextualiz...
GloVe:Global Vectors for Word Representation,它是一個基于全局詞頻統(tǒng)計(jì)的詞表征工具叛买。通過GloVe計(jì)...
詞向量技術(shù)將自然語言中的詞轉(zhuǎn)化為稠密向量砂代,使得相近的詞有相似的向量表示,方便后續(xù)在向量的基礎(chǔ)上做運(yùn)算率挣,進(jìn)一步挖掘文本之間的潛在關(guān)系刻伊。 在傳統(tǒng)的機(jī)...
反向傳播算法(Backpropagation Algorithm,簡稱BP算法)是深度學(xué)習(xí)的重要思想基礎(chǔ)难礼,本文將介紹該算法的原理娃圆。 上圖是一個簡...