今年四月份做了關(guān)于elmo復現(xiàn)和微調(diào)方面的工作。近期在內(nèi)部和鳳巢做了兩次關(guān)于elmo的分享，感覺大家對這個模型較為陌生钻心，發(fā)現(xiàn)其中有些細節(jié)和經(jīng)驗值得拿出來說一說鳍鸵，希望對你會有所...
發(fā)簡信
IP屬地：北京
-
關(guān)于ELMo你不知道的一些細節(jié)
-
語義表示模型新方向《DistillBert》從應(yīng)用落地的角度來說，bert雖然效果好奇徒，但有一個短板就是預訓練模型太大雏亚，預測時間在平均在300ms以上（一條數(shù)據(jù)），無法滿足業(yè)務(wù)需求摩钙。知識蒸餾是在較低成本下有效提升預測速度...
-
從QANet看自然語言處理如何"炫技"
這篇文章講講谷歌大腦團隊和 CMU 聯(lián)合推出的 QANet模型罢低，QAnet是SQUAD排行榜2018年3月份排名第一的模型。既然有Bert胖笛，為什么還要講QAnet网持？因為QAn...
-
BERT實戰(zhàn)（源碼分析+踩坑）
最近在內(nèi)部技術(shù)分享會上發(fā)現(xiàn)大家對Bert實踐中的問題比較感興趣，疑問點主要集中在长踊，Bert機器資源代價昂貴功舀，如何用較小成本（金錢和時間）把Bert跑起來？因此之斯，希望這篇文章能...
-
NLP突破性成果 BERT 模型詳細解讀Google發(fā)布的論文《Pre-training of Deep Bidirectional Transformers for Language Understanding》...
-
-
