發(fā)簡(jiǎn)信
IP屬地：北京
-
關(guān)于ELMo你不知道的一些細(xì)節(jié)
今年四月份做了關(guān)于elmo復(fù)現(xiàn)和微調(diào)方面的工作朽褪。近期在內(nèi)部和鳳巢做了兩次關(guān)于elmo的分享，感覺大家對(duì)這個(gè)模型較為陌生犁嗅，發(fā)現(xiàn)其中有些細(xì)節(jié)和經(jīng)驗(yàn)值...
-
語義表示模型新方向《DistillBert》從應(yīng)用落地的角度來說边涕，bert雖然效果好，但有一個(gè)短板就是預(yù)訓(xùn)練模型太大褂微，預(yù)測(cè)時(shí)間在平均在300ms以上（一條數(shù)據(jù)）功蜓，無法滿足業(yè)務(wù)需求。知識(shí)蒸餾...
-
從QANet看自然語言處理如何"炫技"
這篇文章講講谷歌大腦團(tuán)隊(duì)和 CMU 聯(lián)合推出的 QANet模型宠蚂，QAnet是SQUAD排行榜2018年3月份排名第一的模型式撼。既然有Bert，為什...
-
BERT實(shí)戰(zhàn)（源碼分析+踩坑）
最近在內(nèi)部技術(shù)分享會(huì)上發(fā)現(xiàn)大家對(duì)Bert實(shí)踐中的問題比較感興趣求厕，疑問點(diǎn)主要集中在著隆，Bert機(jī)器資源代價(jià)昂貴，如何用較小成本（金錢和時(shí)間）把Ber...
-
NLP突破性成果 BERT 模型詳細(xì)解讀Google發(fā)布的論文《Pre-training of Deep Bidirectional Transformers for Language...