本文首發(fā)于微信公眾號(hào)：NewBeeNLP

歡迎來(lái)到 NLP 時(shí)事簡(jiǎn)報(bào)凛忿！全文較長(zhǎng)废离，建議收藏。

如果想讓自己有趣的研究/項(xiàng)目出現(xiàn)在NLP簡(jiǎn)報(bào)中，隨時(shí)在公眾號(hào)后臺(tái)留言聯(lián)系我

• 1.1 Turing-NLG from Mircosoft

• 1.2 Neural based Dependency Parsing

• 1.3 End-to-end Cloud-based Information Extraction with BERT

• 1.4 Question Answering Benchmark

• 1.5 Radioactive data: tracing through training

• 1.6 REALM: Retrieval-Augmented Language Model Pre-Training

• 1.7 ERNIE-GEN from Baidu

• 2.1 允許在科學(xué)會(huì)議上進(jìn)行遠(yuǎn)程論文和海報(bào)展示
• 2.2 Abstraction and Reasoning Challenge
• 2.3 ML and NLP Publications in 2019
• 2.4 Growing Neural Cellular Automata
• 2.5 Transformer attention可視化
• 2.6 SketchTransfer
• 2.7 The future of NLP in Python
  

• 3.1 DeepSpeed + ZeRO

• 3.2 一個(gè)用于進(jìn)行快速有效的3D深度學(xué)習(xí)研究的庫(kù)

• 3.3 管理你的ML項(xiàng)目配置

• 3.4 貝葉斯網(wǎng)絡(luò)因果推理工具包

• 3.5 TyDi問(wèn)答：多語(yǔ)言問(wèn)答基準(zhǔn)

• 3.6 Question Answering for Node.js

• 3.7 靈活而強(qiáng)大的NLP工具包
  

• 4.1 識(shí)別文本中的subjective bias
• 4.2 Artificial Intelligence, Values and Alignment
• 4.3 關(guān)于審核AI系統(tǒng)

• 5.1 用于NLP系統(tǒng)的模型蒸餾
• 5.2 單詞的上下文表示
• 5.3 神經(jīng)網(wǎng)絡(luò)中的稀疏性
• 5.4 訓(xùn)練你自己的語(yǔ)言模型
• 5.5 分詞器Tokenizer

• 6.1 阿姆斯特丹自由大學(xué)機(jī)器學(xué)習(xí)課程
• 6.2 機(jī)器學(xué)習(xí)數(shù)學(xué)資源
• 6.3 深度學(xué)習(xí)入門(mén)
• 6.4 Pytorch深度學(xué)習(xí)
• 6.5 Missing Semester of Your CS
• 6.6 深度學(xué)習(xí)進(jìn)階

1、Publications ??

1.1 Turing-NLG: A 17-billion-parameter language model by Microsoft

圖靈自然語(yǔ)言生成（T-NLG）[1]是由 Microsoft AI 研究人員提出的 170 億參數(shù)語(yǔ)言模型漱挚。除了是迄今為止最大的已知語(yǔ)言模型（如下圖所示）之外翔烁，T-NLG 是基于 78 層 Transformer 的語(yǔ)言模型，其在 WikiText-103 上的困惑度性能優(yōu)于之前的最新技術(shù)成果（由NVIDIA Megatron-LM[2]持有） 棱烂。T-NLG 在各種任務(wù)（例如問(wèn)題回答和抽象摘要）上進(jìn)行了測(cè)試租漂，同時(shí)分別顯示了模型的好處，例如零簡(jiǎn)短問(wèn)題功能和最小化監(jiān)督颊糜。此外，該模型得益于 DeepSpeed 庫(kù)（與 PyTorch 兼容）和 ZeRO 優(yōu)化器秃踩，這兩者也會(huì)在本期簡(jiǎn)報(bào)中具體介紹衬鱼。

1.2 Neural based Dependency Parsing

Miryam de Lhoneux 公布了其博士學(xué)位論文“Linguistically Informed Neural Dependency Parsing for Typologically Diverse Languages[3]”。這項(xiàng)工作是關(guān)于使用神經(jīng)學(xué)方法以類型多樣的語(yǔ)言（即以結(jié)構(gòu)上不同的方式構(gòu)造和表達(dá)含義的語(yǔ)言）進(jìn)行依賴關(guān)系解析[4]憔杨。論文指出 RNN 和遞歸層可能有助于合并到解析器中鸟赫，因?yàn)樗鼈冇兄诟嬷哂薪馕鏊璧闹匾Z(yǔ)言知識(shí)的模型。更多 ideas 包括使用多語(yǔ)言解析和參數(shù)共享策略來(lái)解析相關(guān)和不相關(guān)語(yǔ)言消别。

1.3 End-to-end Cloud-based Information Extraction with BERT

1.4 Question Answering Benchmark

Wolfson 等發(fā)布了一個(gè)question understanding benchmark[6]抛蚤，以及一種用于分解計(jì)算適當(dāng)答案所必需的問(wèn)題的方法。他們利用眾包來(lái)注釋分解問(wèn)題所需的必要步驟寻狂， 為了展示該方法的可行性和適用性岁经，他們改進(jìn)了使用 HotPotQA 數(shù)據(jù)集的開(kāi)放域問(wèn)答。

1.5 Radioactive data: tracing through training

Facebook AI 研究人員最近發(fā)表了一項(xiàng)有趣的工作[7]蛇券，旨在標(biāo)記圖像（稱為「radioactive data」）缀壤，以驗(yàn)證該特定數(shù)據(jù)集是否用于訓(xùn)練 ML 模型。他們發(fā)現(xiàn)纠亚，可以使用巧妙的標(biāo)記將特征移向某個(gè)方向塘慕，即使只有 1％的訓(xùn)練數(shù)據(jù)是 radioactiv，模型也可以使用該標(biāo)記幫助檢測(cè)‘radioactive data’的使用情況蒂胞。這極具挑戰(zhàn)性图呢，因?yàn)閿?shù)據(jù)中的任何更改都可能會(huì)降低模型的準(zhǔn)確性。作者說(shuō)，這項(xiàng)工作可以“幫助研究人員和工程師跟蹤用于訓(xùn)練模型的數(shù)據(jù)集蛤织，以便他們可以更好地了解各種數(shù)據(jù)集如何影響不同神經(jīng)網(wǎng)絡(luò)的性能”赴叹，在關(guān)鍵任務(wù) ML 應(yīng)用程序中，這似乎是一種重要的方法瞳筏。如果感興趣可以查看完整論文[8]了解具體信息稚瘾。

1.6 REALM: Retrieval-Augmented Language Model Pre-Training

1.7 ERNIE-GEN

百度研究者提出了一種增強(qiáng)的多流序列，用于序列預(yù)訓(xùn)練和微調(diào)框架姚炕，名為ERNIE-GEN[9]摊欠，該框架通過(guò)填充生成機(jī)制和噪聲感知生成方法彌合了訓(xùn)練和推理之間的差異。為了使生成更接近人類的書(shū)寫(xiě)模式柱宦，此框架引入了逐跨生成流些椒，該流對(duì)模型進(jìn)行訓(xùn)練以連續(xù)預(yù)測(cè)語(yǔ)義上完整的跨距，而不是逐字預(yù)測(cè)掸刊。與現(xiàn)有的預(yù)訓(xùn)練方法不同免糕，ERNIE-GEN結(jié)合了多粒度目標(biāo)采樣來(lái)構(gòu)造預(yù)訓(xùn)練數(shù)據(jù)，從而增強(qiáng)了編碼器和解碼器之間的相關(guān)性忧侧。實(shí)驗(yàn)結(jié)果表明石窑，ERNIE-GEN可以在一系列語(yǔ)言生成任務(wù)上以較少的預(yù)訓(xùn)練數(shù)據(jù)和參數(shù)來(lái)獲得最新的結(jié)果。

2蚓炬、Creativity and Society ??

2.1 允許在科學(xué)會(huì)議上進(jìn)行遠(yuǎn)程論文和海報(bào)展示

過(guò)去一周有請(qǐng)?jiān)笗?shū)散發(fā)松逊，以便在與 ML 相關(guān)的科學(xué)會(huì)議上進(jìn)行遠(yuǎn)程論文和海報(bào)展示，可以在change.org[10]上閱讀有關(guān)它的更多信息肯夏。深度學(xué)習(xí)的先驅(qū) Yoshua Bengio 似乎在倡導(dǎo)人們?nèi)ズ炇鹫?qǐng)?jiān)笗?shū)经宏， 并在他的新博客[11]中闡明了這一點(diǎn)。

2.2 Abstraction and Reasoning Challenge

Fran?oisChollet 最近發(fā)布了一個(gè) Kaggle 競(jìng)賽驯击，他發(fā)布了抽象推理語(yǔ)料庫(kù)（ARC）[12]烁兰，旨在鼓勵(lì)用戶創(chuàng)建可以解決從未接觸過(guò)的推理任務(wù)的 AI 系統(tǒng)。希望能夠開(kāi)始構(gòu)建更強(qiáng)大的 AI 系統(tǒng)徊都，從而能夠更好沪斟，快速地自行解決新問(wèn)題，這可能有助于解決更具挑戰(zhàn)性的現(xiàn)實(shí)應(yīng)用碟贾，例如改善在極端和多樣化環(huán)境中運(yùn)行的自動(dòng)駕駛汽車(chē) 币喧。

2.3 ML and NLP Publications in 2019

Marek Rei 發(fā)布機(jī)器學(xué)習(xí)和 NLP 領(lǐng)域 2019 年出版數(shù)據(jù)統(tǒng)計(jì)[13]，分析中包括的會(huì)議是 ACL袱耽，EMNLP杀餐，NAACL，EACL朱巨，COLING史翘，TACL，CL，CoNLL琼讽，NeurIPS必峰，ICML，ICLR 和 AAAI钻蹬。

2.4 Growing Neural Cellular Automata

2.5 Transformer attention 可視化

2.6 SketchTransfer

2.7 The future of NLP in Python

Ines Montani關(guān)于Python NLP展望[17]的一組非常有意思的PPT介紹吼蚁。

3、Tools and Datasets ??

3.1 DeepSpeed + ZeRO

3.2 一個(gè)用于進(jìn)行快速有效的 3D 深度學(xué)習(xí)研究的庫(kù)

3.3 管理你的 ML 項(xiàng)目配置

Hydra[20]是基于 Python 的配置工具问欠，用于更有效地管理復(fù)雜的 ML 項(xiàng)目肝匆。它旨在通過(guò)為 ML 項(xiàng)目提供功能的配置重用來(lái)幫助 PyTorch 研究人員。它提供的主要好處是它允許程序員像編寫(xiě)代碼一樣編寫(xiě)配置顺献，這意味著可以輕松地覆蓋配置文件旗国。Hydra 還可以幫助自動(dòng)管理 ML 項(xiàng)目輸出的工作目錄，這在需要保存和訪問(wèn)多個(gè)作業(yè)的多個(gè)實(shí)驗(yàn)結(jié)果時(shí)非常有用注整。

3.4 貝葉斯網(wǎng)絡(luò)因果推理工具包

3.5 TyDi 問(wèn)答：多語(yǔ)言問(wèn)答基準(zhǔn)

3.6 Question Answering for Node.js

Hugging Face 發(fā)布了基于 DistilBERT 的問(wèn)答庫(kù)[23]能曾，并繼續(xù)使 NLP 更加易于訪問(wèn)。該模型可以使用 Node.js 在生產(chǎn)中運(yùn)行肿轨，只需 3 行代碼寿冕。該模型利用了由 Hugging Face 和 TensorFlow.js（用于將機(jī)器學(xué)習(xí)模型與 Javascript 結(jié)合使用的流行庫(kù)）構(gòu)建的 Tokenizer 的快速實(shí)現(xiàn)。

3.7 靈活而強(qiáng)大的NLP工具包

Forte[24]是用于構(gòu)建自然語(yǔ)言處理管道的工具包椒袍，具有跨任務(wù)交互蚂斤，適應(yīng)性強(qiáng)的數(shù)據(jù)模型接口等功能。它提供了一個(gè)以高度可組合的方式組裝最新的NLP和ML技術(shù)的平臺(tái)槐沼，包括從信息檢索，自然語(yǔ)言理解到自然語(yǔ)言生成的廣泛任務(wù)捌治。

4岗钩、Ethics in AI ??

4.1 識(shí)別文本中的 subjective bias

計(jì)算社會(huì)科學(xué)的研究員 Diyi Yang 討論了 AI 系統(tǒng)如何幫助識(shí)別文本信息中的主觀偏見(jiàn)[25]。這是涉及 AI 系統(tǒng)和 NLP 的重要研究領(lǐng)域肖油，尤其是當(dāng)我們討論諸如新聞標(biāo)題之類的文本媒體的消費(fèi)時(shí)兼吓，很容易將其構(gòu)架成偏向消費(fèi)者，而實(shí)際上他們應(yīng)該追求更加客觀森枪。從應(yīng)用程序的角度來(lái)看视搏，自動(dòng)識(shí)別文本媒體中存在的主觀偏見(jiàn)以幫助消費(fèi)者更加了解他們正在消費(fèi)的內(nèi)容變得至關(guān)重要。此外還討論了 AI 如何也可以保持偏見(jiàn)县袱。

4.2 Artificial Intelligence, Values and Alignment

人工智能系統(tǒng)的興起以及它們?nèi)绾闻c人類價(jià)值觀保持一致是涉及人工智能系統(tǒng)倫理學(xué)的活躍研究領(lǐng)域浑娜。DeepMind[26]最近發(fā)布了一篇論文，深入探討了圍繞 AI 對(duì)齊的哲學(xué)問(wèn)題式散。該報(bào)告重點(diǎn)討論了兩個(gè)部分筋遭，即技術(shù)部分（即如何對(duì)從 AI 代理獲得可靠結(jié)果的值進(jìn)行編碼）和規(guī)范性（在 AI 中進(jìn)行編碼的原則是正確的）以及它們之間的聯(lián)系以及可以確保的部分。本文主張采用一種基于原則的 AI 對(duì)齊方法，并在信念和觀點(diǎn)存在差異的情況下保持公平待遇漓滔。

4.3 關(guān)于審核 AI 系統(tǒng)

VentureBeat 報(bào)告稱编饺，Google 研究人員與其他小組合作創(chuàng)建了一個(gè)名為 SMACTR 的框架，該框架使工程師可以審核 AI 系統(tǒng)响驴。進(jìn)行這項(xiàng)工作的原因是為了解決目前被消費(fèi)者廣泛使用以供使用的 AI 系統(tǒng)存在的問(wèn)責(zé)制差距透且。在這里閱讀完整的報(bào)告[27]，在這里閱讀完整的論文[28]豁鲤。

5秽誊、Articles and Blog posts ??

5.1 用于 NLP 系統(tǒng)的模型蒸餾

在NLP Highlights[29]播客的新劇集中，Thomas Wolf 和 Victor Sanh 討論了模型蒸餾畅形，以及如何將其用作壓縮大型模型（如 BERT）以用于可擴(kuò)展的實(shí)際 NLP 應(yīng)用程序的可行方法养距。他們?cè)谒麄兲岢龅姆Q為DistilBERT[30]的方法中對(duì)此概念進(jìn)行了進(jìn)一步的討論，在該方法中日熬，他們構(gòu)建較小的模型（基于較大模型的相同體系結(jié)構(gòu)）棍厌，以根據(jù)該模型的輸出來(lái)模仿較大模型的行為。本質(zhì)上竖席，較小的模型（學(xué)生）會(huì)嘗試根據(jù)其輸出分布來(lái)擬合教師的概率分布耘纱。

5.2 單詞的上下文表示

最近，關(guān)于諸如 BERT 的上下文化方法成功用于處理各種復(fù)雜的 NLP 任務(wù)的討論很多毕荐。在這篇文章中束析，Kawin Ethayarajh 試圖回答以下問(wèn)題：諸如 BERT，ELMo 和 GPT-2 之類的上下文模型及其上下文化的詞表示形式是什么[31]憎亚？主題包括語(yǔ)境性员寇，語(yǔ)境特定性的度量以及靜態(tài)嵌入與語(yǔ)境化表示之間的比較。

5.3 神經(jīng)網(wǎng)絡(luò)中的稀疏性

ML 研究人員 Fran?oisLagunas 寫(xiě)了這篇很棒的文章第美，Is the future of Neural Networks Sparse?[32] 討論了他對(duì)在神經(jīng)網(wǎng)絡(luò)模型中采用稀疏張量的樂(lè)觀態(tài)度蝶锋。希望采用某種形式的稀疏性來(lái)減小當(dāng)前模型的大小，這些模型由于其大小和速度而在某些時(shí)候變得不切實(shí)際什往。由于當(dāng)前模型（例如 Transformer）的龐大規(guī)模（通常依賴數(shù)十億個(gè)參數(shù)）扳缕，因此在 ML 中可能值得探討這一概念。但是别威，從開(kāi)發(fā)人員工具的角度來(lái)看躯舔，在 GPU 上的神經(jīng)網(wǎng)絡(luò)中支持有效稀疏性的實(shí)現(xiàn)細(xì)節(jié)尚不清楚，這是機(jī)器學(xué)習(xí)社區(qū)正在努力的事情省古。

5.4 訓(xùn)練你自己的語(yǔ)言模型

如果你想學(xué)習(xí)如何從零開(kāi)始訓(xùn)練語(yǔ)言模型[33]粥庄，請(qǐng)查看 Hugging Face 的這份令人印象深刻且全面的教程。他們顯然利用了自己的庫(kù) Transformers 和 Tokenizers 來(lái)訓(xùn)練模型衫樊。

5.5 分詞器 Tokenizer

6飒赃、Education ??

6.1 阿姆斯特丹自由大學(xué)機(jī)器學(xué)習(xí)課程

現(xiàn)在利花，你可以在線學(xué)習(xí) 2020 MLVU 機(jī)器學(xué)習(xí)課程[35]，其中包括全套幻燈片载佳，視頻和教學(xué)大綱炒事。它旨在作為 ML 的入門(mén)，但它也包含其他與深度學(xué)習(xí)相關(guān)的主題蔫慧，例如 VAE 和 GAN挠乳。

6.2 機(jī)器學(xué)習(xí)數(shù)學(xué)資源

SuzanaIli? 和東京機(jī)器學(xué)習(xí)（MLT）在使 ML 教育民主化方面一直做著驚人的工作。例如姑躲，該庫(kù)Machine-Learning-Tokyo/Math_resources[36]展示了免費(fèi)的在線資源集合睡扬，用于學(xué)習(xí) ML 中使用的數(shù)學(xué)概念的基礎(chǔ)。

6.3 深度學(xué)習(xí)入門(mén)

MIT 的“深度學(xué)習(xí)入門(mén)”課程[37]黍析， 每周都會(huì)發(fā)布新的講座卖怜，所有方面和視頻（包括編碼實(shí)驗(yàn)室）都將發(fā)布。

6.4 Pytorch 深度學(xué)習(xí)

Alfredo Canziani 發(fā)布了PyTorch 深度學(xué)習(xí)[38]微型課程的幻燈片和筆記本阐枣，該資源庫(kù)還包含一個(gè)配套網(wǎng)站马靠，其中包含對(duì)本課程中所教授概念的文字描述。

6.5 Missing Semester of Your CS

由麻省理工學(xué)院的教員發(fā)布的“Missing Semester”[39]是一門(mén)很棒的在線課程蔼两，其中包含對(duì)非開(kāi)發(fā)背景的數(shù)據(jù)科學(xué)家而言可能有用的材料甩鳄。它包括諸如 Shell 工具和腳本以及版本控制之類的主題。

6.6 深度學(xué)習(xí)進(jìn)階

CMU 發(fā)布了“Advanced Deep Learning”[40]課程的幻燈片和教學(xué)大綱额划，其中包括諸如自動(dòng)回歸模型妙啃，生成模型以及自我監(jiān)督/預(yù)測(cè)學(xué)習(xí)等主題。該課程適用于 MS 或 Ph.D俊戳， 具有 ML 高級(jí)背景的學(xué)生揖赴。

7、Noteworthy Mentions ??

BERT-of-Theseus[41]提出了一種通過(guò)將 BERT 模型劃分為原始組件來(lái)逐步替換和壓縮 BERT 模型的方法抑胎。通過(guò)逐步替換和訓(xùn)練储笑，還具有將模型的原始組件和壓縮版本組合在一起的優(yōu)勢(shì)。所提出的模型優(yōu)于 GLUE 基準(zhǔn)上的其他知識(shí)提煉方法圆恤。

這兒找到一份有趣的課程，稱為“機(jī)器學(xué)習(xí)入門(mén)”[42]腔稀，涵蓋了 ML 基礎(chǔ)知識(shí)盆昙，監(jiān)督回歸，隨機(jī)森林焊虏，參數(shù)調(diào)整以及許多其他基本的 ML 主題淡喜。

希臘語(yǔ) BERT（GreekBERT）[43]模型現(xiàn)在可通過(guò) Hugging Face Transformers 庫(kù)使用。

Jeremy Howard[44]發(fā)表了一篇論文诵闭，描述了 fastai 深度學(xué)習(xí)庫(kù)炼团，該庫(kù)被廣泛用于研究并教授其深度學(xué)習(xí)開(kāi)放課程澎嚣， 推薦給致力于構(gòu)建和改進(jìn)深度學(xué)習(xí)和 ML 庫(kù)的軟件開(kāi)發(fā)人員。

Deeplearning.ai 完成了 TensorFlow 所有四個(gè)課程的發(fā)布：TensorFlow: Data and Deployment Specialization[45]瘟芝。該專業(yè)的主要目的是教育開(kāi)發(fā)人員如何在不同的場(chǎng)景中有效地部署模型易桃，以及在訓(xùn)練模型時(shí)以有趣且有效的方式使用數(shù)據(jù)。

Sebastian Raschka 最近發(fā)表了一篇題為《Python 中的機(jī)器學(xué)習(xí)：數(shù)據(jù)科學(xué)锌俱，機(jī)器學(xué)習(xí)和人工智能的主要發(fā)展和技術(shù)趨勢(shì)[46]》的論文晤郑。本文是對(duì)機(jī)器學(xué)習(xí)工具前景的全面回顧。對(duì)于理解 ML 工程中使用的某些庫(kù)和概念的各種優(yōu)點(diǎn)而言贸宏，這是一份極好的報(bào)告造寝。此外，還提供了有關(guān)基于 Python 的機(jī)器學(xué)習(xí)庫(kù)的未來(lái)的信息吭练。

本文參考資料

[1]

圖靈自然語(yǔ)言生成（T-NLG）: https://www.microsoft.com/en-us/research/blog/turing-nlg-a-17-billion-parameter-language-model-by-microsoft/

[2]

NVIDIA Megatron-LM: https://github.com/NVIDIA/Megatron-LM

[3]

Linguistically Informed Neural Dependency Parsing for Typologically Diverse Languages: http://uu.diva-portal.org/smash/record.jsf?pid=diva2:1357373&dswid=7905

[4]

依賴關(guān)系解析: http://nlpprogress.com/english/dependency_parsing.html

[5]

Rapid Adaptation of BERT for Information Extraction on Domain-Specific Business Documents: https://arxiv.org/abs/2002.01861

[6]

question understanding benchmark: https://arxiv.org/abs/2001.11770v1

[7]

有趣的工作: https://ai.facebook.com/blog/using-radioactive-data-to-detect-if-a-data-set-was-used-for-training/

[8]

完整論文: https://arxiv.org/pdf/2002.00937.pdf

[9]

ERNIE-GEN: http://xxx.itp.ac.cn/abs/2001.11314

[10]

change.org: https://www.change.org/p/organizers-of-data-science-and-machine-learning-conferences-neurips-icml-aistats-iclr-uai-allow-remote-paper-poster-presentations-at-conferences

[11]

新博客: https://yoshuabengio.org/2020/02/10/fusce-risus/

[12]

抽象推理語(yǔ)料庫(kù)（ARC）: https://www.kaggle.com/c/abstraction-and-reasoning-challenge/overview

[13]

機(jī)器學(xué)習(xí)和 NLP 領(lǐng)域 2019 年出版數(shù)據(jù)統(tǒng)計(jì): https://www.marekrei.com/blog/ml-and-nlp-publications-in-2019/

[14]

Growing Neural Cellular Automata: https://distill.pub/2020/growing-ca/

[15]

交互式 Transformer 注意可視化: https://github.com/SIDN-IAP/attnvis

[16]

SketchTransfer: https://arxiv.org/pdf/1912.11570.pdf

[17]

Python NLP展望: https://speakerdeck.com/inesmontani/the-future-of-nlp-in-python-keynote-pycon-colombia-2020

[18]

DeepSpeed 與 ZeRO: https://www.microsoft.com/en-us/research/blog/zero-deepspeed-new-system-optimizations-enable-training-models-with-over-100-billion-parameters/

[19]

PyTorch3D: https://ai.facebook.com/blog/-introducing-pytorch3d-an-open-source-library-for-3d-deep-learning/

[20]

Hydra: https://hydra.cc/

[21]

CausalNex: https://causalnex.readthedocs.io/en/latest/01_introduction/01_introduction.html

[22]

TyDi QA: https://ai.googleblog.com/2020/02/tydi-qa-multilingual-question-answering.html

[23]

問(wèn)答庫(kù): https://github.com/huggingface/node-question-answering

[24]

Forte: https://github.com/asyml/forte

[25]

識(shí)別文本信息中的主觀偏見(jiàn): https://podcasts.apple.com/us/podcast/will-ai-help-identify-bias-or-perpetuate-it-with-diyi-yang/id1435564422?i=1000464141922

[26]

DeepMind: https://deepmind.com/research/publications/Artificial-Intelligence-Values-and-Alignment

[27]

完整的報(bào)告: https://venturebeat.com/2020/01/30/google-researchers-release-audit-framework-to-close-ai-accountability-gap/

[28]

完整的論文: https://dl.acm.org/doi/abs/10.1145/3351095.3372873

[29]

NLP Highlights: https://soundcloud.com/nlp-highlights/104-model-distillation-with-victor-sanh-and-thomas-wolf

[30]

DistilBERT: https://arxiv.org/abs/1910.01108

[31]

諸如 BERT诫龙，ELMo 和 GPT-2 之類的上下文模型及其上下文化的詞表示形式是什么: https://kawine.github.io/blog/nlp/2020/02/03/contextual.html

[32]

Is the future of Neural Networks Sparse?: https://medium.com/huggingface/is-the-future-of-neural-networks-sparse-an-introduction-1-n-d03923ecbd70

[33]

從零開(kāi)始訓(xùn)練語(yǔ)言模型: https://huggingface.co/blog/how-to-train

[34]

Tokenizers: How machines read: https://blog.floydhub.com/tokenization-nlp/

[35]

MLVU 機(jī)器學(xué)習(xí)課程: https://mlvu.github.io/

[36]

Machine-Learning-Tokyo/Math_resources: https://github.com/Machine-Learning-Tokyo/Math_resources

[37]

MIT 的“深度學(xué)習(xí)入門(mén)”課程: http://introtodeeplearning.com/

[38]

PyTorch 深度學(xué)習(xí): https://atcold.github.io/pytorch-Deep-Learning-Minicourse/

[39]

“Missing Semester”: https://missing.csail.mit.edu/

[40]

“Advanced Deep Learning”: https://andrejristeski.github.io/10707-S20/syllabus.html

[41]

BERT-of-Theseus: http://xxx.itp.ac.cn/abs/2002.02925

[42]

“機(jī)器學(xué)習(xí)入門(mén)”: https://compstat-lmu.github.io/lecture_i2ml/index.html

[43]

希臘語(yǔ) BERT（GreekBERT）: https://huggingface.co/nlpaueb/bert-base-greek-uncased-v1

[44]

Jeremy Howard: https://arxiv.org/abs/2002.04688

[45]

TensorFlow: Data and Deployment Specialization: https://www.coursera.org/specializations/tensorflow-data-and-deployment

[46]

Python 中的機(jī)器學(xué)習(xí)：數(shù)據(jù)科學(xué)，機(jī)器學(xué)習(xí)和人工智能的主要發(fā)展和技術(shù)趨勢(shì): https://arxiv.org/abs/2002.04803