01 完整路線
第一部分：機(jī)器學(xué)習(xí)基礎(chǔ)篇
第一章：自然語言處理概述
1. 自然語言處理的現(xiàn)狀與前景
2. 自然語言處理應(yīng)用
3. 自然語言處理經(jīng)典任務(wù)
第二章：數(shù)據(jù)結(jié)構(gòu)與算法基礎(chǔ)
4. 時(shí)間復(fù)雜度、空間復(fù)雜度
5. 動(dòng)態(tài)規(guī)劃
6. 貪心算法
7. 各種排序算法
第三章：分類與邏輯回歸
邏輯回歸
最大似然估計(jì)
優(yōu)化與梯度下降法
隨機(jī)梯度下降法
第四章：模型泛化與調(diào)參
理解過擬合、防止過擬合
L1與L2正則
交叉驗(yàn)證
正則與MAP估計(jì)
第二部分：文本處理篇
第五章：文本預(yù)處理與表示
各類分詞算法
詞的標(biāo)準(zhǔn)化
拼寫糾錯(cuò)、停用詞
獨(dú)熱編碼表示
tf-idf與相似度
分布式表示與詞向量
詞向量可視化與評估
第六章：詞向量技術(shù)
獨(dú)熱編碼的優(yōu)缺點(diǎn)
分布式表示的優(yōu)點(diǎn)
靜態(tài)詞向量與動(dòng)態(tài)詞向量
SkipGram與CBOW
SkipGram詳解
Negative? Sampling
第七章：語言模型
語言模型的作用
馬爾科夫假設(shè)
UniGram, BiGram, NGram模型
語言模型的評估
語言模型的平滑技術(shù)
第三部分：序列模型篇
第八章：隱馬爾科夫模型
HMM的應(yīng)用
HMM的Inference
維特比算法
前向乏盐、后向算法
HMM的參數(shù)估計(jì)詳解
第九章：線性條件隨機(jī)場
有向圖與無向圖
生成模型與判別模型
從HMM與MEMM
MEMM中的標(biāo)簽偏置
Log-Linear模型介紹
從Log-Linear到LinearCRF
LinearCRF的參數(shù)估計(jì)
第四部分：深度學(xué)習(xí)與預(yù)訓(xùn)練篇
第十章：深度學(xué)習(xí)基礎(chǔ)
理解神經(jīng)網(wǎng)絡(luò)
各種常見的激活函數(shù)
反向傳播算法
淺層模型與深度模型對比
深度學(xué)習(xí)中的層次表示
深度學(xué)習(xí)中的過擬合
第十一章：RNN與LSTM
從HMM到RNN模型
RNN中的梯度問題
梯度消失與LSTM
LSTM到GRU
雙向LSTM
雙向深度LSTM
第十二章：Seq2Seq模型與注意力機(jī)制
Seq2Seq模型
Greedy Decoding
Beam Search
長依賴所存在的問題
注意力機(jī)制的實(shí)現(xiàn)
第十三章：動(dòng)態(tài)詞向量與ELMo技術(shù)
基于上下文的詞向量技術(shù)
圖像識別中的層次表示
文本領(lǐng)域中的層次表示
ELMo模型
ELMo的預(yù)訓(xùn)練與測試
ELMo的優(yōu)缺點(diǎn)
第十四章：自注意力機(jī)制與Transformer
LSTM模型的缺點(diǎn)
Transformer概述
理解自注意力機(jī)制
位置信息的編碼
理解Encoder和Decoder區(qū)別
理解Transformer的訓(xùn)練與預(yù)測
Transformer的缺點(diǎn)
第十五章：BERT與ALBERT
自編碼介紹
Transformer Encoder
Masked語言模型
BERT模型
BERT的不同訓(xùn)練方式
ALBERT
第十六章：BERT的其他變種
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先驗(yàn)知識
K-BERT
KG-BERT
第十七章：GPT與XLNet
Transformer Encoder回顧
GPT-1, GPT-2,? GPT-3
ELMo的缺點(diǎn)
語言模型下同時(shí)考慮上下文
Permutation LM
雙流自注意力機(jī)制
第五部分：信息抽取與知識圖譜篇
第十八章：命名識別與實(shí)體消歧
信息抽取的應(yīng)用和關(guān)鍵技術(shù)
命名實(shí)體識別
NER識別常用技術(shù)
實(shí)體統(tǒng)一技術(shù)
實(shí)體消歧技術(shù)
指代消解
第十九章：關(guān)系抽取
關(guān)系抽取的應(yīng)用
基于規(guī)則的方法
基于監(jiān)督學(xué)習(xí)的方法
Bootstrap方法
Distant Supervision方法
第二十章：句法分析
句法分析的應(yīng)用
CFG介紹
從CFG到PCFG
評估語法樹
尋找最好的語法樹
CKY算法
第二十一章：依存文法分析
從語法分析到依存文法分析
依存文法分析的應(yīng)用
基于圖算法的依存文法分析
基于Transition-based的依存文法分析
依存文法的應(yīng)用案例
第二十二章：知識圖譜
知識圖譜的重要性
知識圖譜中的實(shí)體與關(guān)系
非結(jié)構(gòu)化數(shù)據(jù)與構(gòu)造知識圖譜
知識圖譜設(shè)計(jì)
圖算法的應(yīng)用
第六部分：模型壓縮與圖神經(jīng)網(wǎng)絡(luò)篇
第二十三章：模型的壓縮
模型壓縮重要性
常見的模型壓縮總覽
基于矩陣分解的壓縮技術(shù)
基于蒸餾的壓縮技術(shù)
基于貝葉斯模型的壓縮技術(shù)
模型的量化
第二十四章：基于圖的學(xué)習(xí)
圖的表示
圖與知識圖譜
關(guān)于圖的常見算法
Deepwalk和Node2vec
TransE圖嵌入算法
DSNE圖嵌入算法
第二十五章：圖神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)回顧
在圖中設(shè)計(jì)卷積操作
圖中的信息傳遞
圖卷積神經(jīng)網(wǎng)絡(luò)
圖卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典應(yīng)用
第二十六章：GraphSage與GAT
從GCN到GraphSAge
注意力機(jī)制回歸
GAT模型詳解
GAT與GCN比較
對于異構(gòu)數(shù)據(jù)的處理
第二十七章：圖神經(jīng)網(wǎng)絡(luò)的其他應(yīng)用
Node Classification
Graph Classification
Link Prediction
社區(qū)挖掘
推薦系統(tǒng)
圖神經(jīng)網(wǎng)絡(luò)的未來發(fā)展
