論文標(biāo)題:DistilBERT, a distilled version of BERT: smaller, faster, cheaper a...
部分內(nèi)容轉(zhuǎn)載自機器之心 TinyBERT的創(chuàng)新點主要在: 新型蒸餾方式 不同于普通的知識蒸餾(knowledge distillation鳄虱,KD...
提出機構(gòu):阿里巴巴達(dá)摩院 論文鏈接:https://arxiv.org/pdf/1908.04577.pdf 作者認(rèn)為Bert的預(yù)訓(xùn)練任務(wù)忽略了...
論文標(biāo)題:REFORMER: THE EFFICIENT TRANSFORMER 論文鏈接:https://arxiv.org/abs/2001...
<Paper Reading Series> 本文基于Facebook 2019的文章:Cross-lingual Language Model...
<Paper Reading Series> 本文基于文章:Neural Chinese Medical Named Entity Recogn...
<Paper Reading Series> 本文基于Facebook 2018-ICLR的文章:WORD TRANSLATION WITHOU...
<Paper Reading Series> 本文基于2018 Facebook AI Research的文章:Massively Multil...
<Paper Reading Series> 本文基于2017-ACL的文章:Weakly Supervised Cross-Lingual N...