發(fā)簡(jiǎn)信
IP屬地：北京
-
關(guān)于ELMo你不知道的一些細(xì)節(jié)
今年四月份做了關(guān)于elmo復(fù)現(xiàn)和微調(diào)方面的工作铜犬。近期在內(nèi)部和鳳巢做了兩次關(guān)于elmo的分享吐葵，感覺大家對(duì)這個(gè)模型較為陌生融涣，發(fā)現(xiàn)其中有些細(xì)節(jié)和經(jīng)驗(yàn)值...
-
語(yǔ)義表示模型新方向《DistillBert》從應(yīng)用落地的角度來說稀颁，bert雖然效果好肢藐，但有一個(gè)短板就是預(yù)訓(xùn)練模型太大，預(yù)測(cè)時(shí)間在平均在300ms以上（一條數(shù)據(jù)）巍虫，無(wú)法滿足業(yè)務(wù)需求彭则。知識(shí)蒸餾...
-
從QANet看自然語(yǔ)言處理如何"炫技"
這篇文章講講谷歌大腦團(tuán)隊(duì)和 CMU 聯(lián)合推出的 QANet模型，QAnet是SQUAD排行榜2018年3月份排名第一的模型占遥。既然有Bert俯抖，為什...
-
BERT實(shí)戰(zhàn)（源碼分析+踩坑）
最近在內(nèi)部技術(shù)分享會(huì)上發(fā)現(xiàn)大家對(duì)Bert實(shí)踐中的問題比較感興趣，疑問點(diǎn)主要集中在瓦胎，Bert機(jī)器資源代價(jià)昂貴蚌成，如何用較小成本（金錢和時(shí)間）把Ber...
-
NLP突破性成果 BERT 模型詳細(xì)解讀Google發(fā)布的論文《Pre-training of Deep Bidirectional Transformers for Language...