NLP技術(shù)全景圖（內(nèi)含思維導(dǎo)圖）

思維導(dǎo)圖如下豺撑，如有需求聯(lián)系作者（免費發(fā)送！：晾隆）


自然語言處理.png

詞法分析

分詞

  • 中文分詞

    • 字典樹

      • 二分搜索查找樹

        • 首字哈希

      • 雙數(shù)組字典樹

        • 基于DAT的AC自動機

    • 掃描規(guī)則

      • 正向最長
      • 逆向最長
      • 雙向最長

    • n元語法

      • 最短路徑
      • N最短路徑

    • 序列標(biāo)注

  • 英文分詞

    • 空格切分
    • 有限狀態(tài)自動機
    • byte pair encoding

詞干提取

  • 波特詞干算法

詞性還原

  • 基于詞典

詞性標(biāo)注

  • Meta-BiLSTM
  • Flair

命名實體識別

  • 有限狀態(tài)自動機

  • 序列標(biāo)注

    • 角色標(biāo)注

    • IOBES標(biāo)注

      • Bert
      • Flair
      • ELMo
      • CVT

句法分析

依存句法分析

  • 基于圖

    • Eisner算法
    • 最大生成樹
    • Chu-Liu-Edmonds算法
    • BiAffine算法

  • 基于轉(zhuǎn)移

    • 轉(zhuǎn)移系統(tǒng)

      • Arc-Standard
      • Arc-Eager
      • Arc-Swift
      • list-based Arc-Eager
      • Pseudo-Projective Parsing
      • Online Reordering

    • 學(xué)習(xí)策略

      • 靜態(tài)規(guī)范
      • 動態(tài)規(guī)范

語義分析

詞義消歧

  • 監(jiān)督學(xué)習(xí)

    • 傳統(tǒng)方法

      • 互信息
      • 貝葉斯模型
      • 最大熵模型

    • 深度學(xué)習(xí)

      • Attention+BiLSTM
      • ELMo

  • 無監(jiān)督學(xué)習(xí)

    • Shotgun WSD
    • MCS Estimation

  • 基于知識

    • 基于詞典
    • Yarowsky算法

語義角色標(biāo)注

  • 傳統(tǒng)方法

    • 基于短語結(jié)構(gòu)樹
    • 基于依存句法樹
    • 基于語塊

  • 深度學(xué)習(xí)

    • ELMo
    • 聯(lián)合學(xué)習(xí)謂詞與論元

語義依存分析

  • 基于圖

    • BiAffine+Bert

  • 基于轉(zhuǎn)移

    • list-based Arc-Eager+Tree RNN

抽象語義表示

  • Sequence-to-Graph Transducer

  • 基于機器翻譯

  • 基于轉(zhuǎn)移

    • AMREager
    • CAMR

  • 基于圖

    • JAMR

自然語言轉(zhuǎn)SQL

  • Seq2Seq
  • 語義分析器

文本聚類

  • 聚類算法
  • 特征提取

文本分類

傳統(tǒng)方法

  • 分詞

  • 停用詞過濾

  • 特征選擇

    • 卡方檢驗
    • 互信息

  • 詞袋向量

  • 淺層學(xué)習(xí)

    • NB樸素貝葉斯
    • SVM支持向量機
    • KNN K近鄰
    • DT決策樹
    • RF隨機森林

深度學(xué)習(xí)

  • Recursive Neural Network 遞歸神經(jīng)網(wǎng)絡(luò)
  • Graph Neural Network 圖神經(jīng)網(wǎng)絡(luò)
  • Fasttext
  • XLNet
  • Bert
  • ULMFiT

情感分析

文本摘要

抽取式

  • 無監(jiān)督學(xué)習(xí)

    • TextRank
    • LexRank
    • TF-IDF

  • 監(jiān)督學(xué)習(xí)

    • 二分類模型

    • 序列標(biāo)注模型

    • 回歸排序模型

    • 深度學(xué)習(xí)

      • RNEs
      • SWAP-NET
      • Latent
      • HeterSumGraph

生成式

  • Seq2Seq+Attention
  • 指針網(wǎng)絡(luò)(Pointer-Generator Network)
  • Attention-Based Summarization
  • 生成對抗網(wǎng)絡(luò)(GAN)
  • 關(guān)鍵信息指導(dǎo)網(wǎng)絡(luò)(KIGN)
  • 深度溝通代理(DCA)

主題模型

LSA

  • 奇異值分解

LDA

  • 馬爾科夫鏈
  • 吉布斯采樣

自動編碼器

受限玻爾茲曼機

語音識別

傳統(tǒng)方法

  • 傅里葉變換
  • 倒譜均值歸一化
  • 聲道長度歸一化
  • 聲學(xué)模型
  • 發(fā)音模型
  • 隱馬爾可夫模型
  • n元語法

深度學(xué)習(xí)

  • ContextNet
  • 連接時序分類(connectionist temporal classification)
  • LSTM-HMM
  • 神經(jīng)網(wǎng)絡(luò)語言模型

內(nèi)容推薦

協(xié)同過濾

  • 歐氏距離
  • 余弦距離
  • Tanimoto 系數(shù)

深度學(xué)習(xí)

  • RBM
  • AE
  • CNN
  • RNN
  • DSSM

基于知識

  • 基于路徑

    • HeteroMF
    • Hete-MF

  • 基于嵌入

    • Node2vec
    • entity2vec
    • DKN
    • RKGE

  • 基于混合

    • RippleNet
    • KGCN
    • KGAT

常識推理

Bert

XLNet

指代消解

類型

  • 共指
  • 回指
  • 所指

規(guī)則系統(tǒng)

  • 樸素Hobbs

統(tǒng)計方法

  • Mention-Pair
  • Mention-Ranking
  • Entity-Mention

人機對話

對話行為分類

  • CRF-ASN
  • BiLSTM-CRF

對話狀態(tài)跟蹤

  • Delexicalised RNN
  • Neural Belief Tracker(NBT)
  • 全局-局部自注意力(GLAD)
  • Fully NBT

檢索式回復(fù)機器人

  • Poly Encoder
  • Bert
  • ELMO

生成式回復(fù)機器人

  • TransferTransfo
  • XNLG
  • Seq2Seq

意圖識別

  • classification模型
  • match模型

槽位填充

  • Seq2Seq+Attention
  • Event Schema Induction

語法糾錯

Copy機制

  • spellingcheck+transformer
  • Copy-Augmented Transformer
  • Confusionset guided Pointer Networks

MASK機制

  • Transformer
  • FASPell
  • Soft-Masked BERT
  • SpellGCN

關(guān)系預(yù)測

張量分解

  • RESCAL

圖神經(jīng)網(wǎng)絡(luò)

  • RGCN
  • KBAT

表示學(xué)習(xí)

  • TransE
  • TransH
  • ConvE
  • ConvKB

實體鏈接

實體消歧模型

  • DeepType
  • ELDEN
  • DeepCosine

聯(lián)合抽取模型

  • end-to-end EL
  • Stack-LSTM
  • CDTE
  • WAT

機器問答

基于知識

  • Gated Graph Neural Networks
  • Bidirectional Attentive Memory Networks
  • KemQA

基于檢索

  • Denoising QA
  • DecaProp

完形填空

  • Attentive Reader
  • Standford Reader
  • Match-LSTM
  • AoA Reader
  • CoVe + DCN
  • QANet
  • Hierarchical Attention Flow
  • GPT

信息抽取

名詞短語規(guī)范化

  • CESI

三元組抽取

  • SPO定義

    • 主體subject
    • 客體object
    • 關(guān)系predicate

  • Bert

    • R-Bert
    • Muti-Attention CNN

  • CNN

    • CR-CNN
    • GCN

  • RNN

    • Entity Attention Bi-LSTM
    • Hierarchical Attention Bi-LSTM

  • 依存句法分析(dependency parsing)

    • BRCNN
    • SDP-LSTM
    • DepNN

語言模型

統(tǒng)計語言模型

  • N-gram
  • Pitman-yor過程

神經(jīng)語言模型

  • 神經(jīng)網(wǎng)絡(luò)語言模型(NNLM)
  • RNN 語言模型(RNNLM)
  • 雙向語言模型(BiLM)
  • AWD-LSTM
  • Transformer-XL
  • Gated CNN
  • 預(yù)訓(xùn)練語言模型

詞匯規(guī)范化

  • MoNoise
  • Joint POS + Norm in a Viterbi decoding
  • Syllable based
  • unLOL

自然語言推理

注意力機制

  • BiLSTM-Attention
  • 深度遞歸卷積網(wǎng)絡(luò)(DRCN)
  • Transformer

記憶增強

  • 記憶網(wǎng)絡(luò)(MemNN)
  • 循環(huán)實體網(wǎng)絡(luò)(ENTNET)
  • 快速響應(yīng)網(wǎng)絡(luò)(Quick Response Network)
  • 可微分神經(jīng)計算機(DNC)
  • 神經(jīng)過程網(wǎng)絡(luò)(NPN)

機器翻譯

規(guī)則機器翻譯

統(tǒng)計機器翻譯

  • IBM1
  • IBM2
  • IBM3
  • IBM4
  • 語言模型

神經(jīng)機器翻譯

  • Seq2Seq

    • RNN
    • LSTM
    • GRU
    • ConvS2S

  • Transformer

文本語義相似度

距離度量

  • Levenshtein最小編輯距離
  • Jaccard杰卡德相似度
  • Cos余弦相似度

文本表示

  • 特征建模

    • TF-IDF
    • BM25
    • SimHash
    • LSA
    • LDA

  • 深層語義

    • Gensen
    • XLNet
    • 雙塔模型(Siamese Network)

  • 復(fù)雜交互

    • MatchPyramid
    • ESIM(Enhancing Sequential Inference Model)
    • BiMPM(Bilateral multi-perspective matching model)
    • MWAN(Multiway Attention Networks)

詞嵌入Embedding

語境相關(guān)/動態(tài)

  • ELMO
  • Flair
  • Bert
  • XLNet

語境無關(guān)/靜態(tài)

  • Word2vec
  • Glove
  • Fasttext

知識圖譜Knowledge Graph

機器學(xué)習(xí)

監(jiān)督學(xué)習(xí)

  • 隱馬爾可夫模型

  • 最大熵模型

  • 條件隨機場

  • 結(jié)構(gòu)化感知機

  • 感知機

  • 邏輯回歸

  • 樸素貝葉斯法

  • K近鄰

  • 決策樹

  • 支持向量機

  • 神經(jīng)網(wǎng)絡(luò)

    • 網(wǎng)絡(luò)模塊

      • 全連接神經(jīng)網(wǎng)絡(luò)

      • 卷積神經(jīng)網(wǎng)絡(luò)

        • 池化層
        • 卷積層

      • 循環(huán)神經(jīng)網(wǎng)絡(luò)

        • RNN
        • GRU
        • LSTM
        • Stacked LSTM
        • Highway Connection

      • 遞歸神經(jīng)網(wǎng)絡(luò)

        • Tree-RNN
        • Syntactically-United RNN
        • Matrix-Vector RNN

      • 注意力神經(jīng)網(wǎng)絡(luò)

        • Soft Attention
        • Multi-Head Attention
        • Hierarchical Attention Model
        • Transformer

      • 圖神經(jīng)網(wǎng)絡(luò)

        • GNN
        • GCN
        • GAT

    • 激活函數(shù)

      • Softmax
      • elu
      • selu
      • softplus
      • softsign
      • relu
      • tanh
      • sigmoid

    • 初始化

      • 正態(tài)分布
      • 均勻分布
      • 常數(shù)初始化
      • 正交初始化

    • 優(yōu)化器

      • SGD
      • RMSprop
      • Adagrad
      • Adadelta
      • Adam
      • Adamax
      • Nadam

    • 訓(xùn)練策略

      • dropout
      • word dropout
      • variational dropout
      • 正則化
      • 對抗訓(xùn)練

無監(jiān)督學(xué)習(xí)

  • 聚類分析

    • 估計聚類數(shù)量

      • gap statistic
      • 平方誤差和
      • 輪廓系數(shù)

    • 聚類算法

      • K Means
      • 重復(fù)二分法
      • DBSCAN
      • 層次聚類法HAC

  • 概率密度估計

    • 異常檢測
    • 對抗神經(jīng)網(wǎng)絡(luò)
    • 自動編碼器
    • 受限玻爾茲曼機

  • 可視化

    • PCA
    • t-SNE

半/自監(jiān)督學(xué)習(xí)

  • Self-Training

    • LM

      • ELMo
      • GPT
      • UNiLM

    • MLM

      • Bert
      • SpanBert
      • XLM
      • MASS
      • T5

    • PLM

      • XLNet

    • 去噪自編碼器DAE

      • Bart

    • 對比學(xué)習(xí)CTL

      • RTD

        • CBOW-NS
        • ELECTRA

      • NSP

        • Bert
        • UNiLM

      • SOP

        • ALBert
        • StructBert

    • 知識增強

      • 向量融合

        • ERNIE
        • KnowBert
        • Bert-MK

      • 知識監(jiān)督

        • WKLM
        • LIBert
        • GLM

      • 結(jié)構(gòu)統(tǒng)一

        • K-Bert
        • CoLAKE

      • 聯(lián)合訓(xùn)練

        • KEPLER
        • K-ADAPTER

      • 知識檢索

        • FaE
        • REALM

  • Co-Training

  • 半監(jiān)督SVM

  • 生成式模型

  • 圖半監(jiān)督學(xué)習(xí)

  • 主動學(xué)習(xí)

強化學(xué)習(xí)

  • Model-free

    • Q learning
    • Sarsa
    • Policy Gradients

  • model-based

    • Model-Based Policy Optimization
    • MB-MPO
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子慎框，更是在濱河造成了極大的恐慌，老刑警劉巖后添，帶你破解...
    沈念sama閱讀 211,376評論 6贊 491
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件笨枯，死亡現(xiàn)場離奇詭異，居然都是意外死亡遇西，警方通過查閱死者的電腦和手機馅精，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,126評論 2贊 385
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來粱檀，“玉大人洲敢，你說我怎么就攤上這事∏羊牵” “怎么了压彭？”我有些...
    開封第一講書人閱讀 156,966評論 0贊 347
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長渗常。 經(jīng)常有香客問我壮不，道長，這世上最難降的妖魔是什么皱碘？ 我笑而不...
    開封第一講書人閱讀 56,432評論 1贊 283
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任询一，我火速辦了婚禮，結(jié)果婚禮上癌椿，老公的妹妹穿的比我還像新娘健蕊。我一直安慰自己，他們只是感情好踢俄，可當(dāng)我...
    茶點故事閱讀 65,519評論 6贊 385
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布缩功。 她就那樣靜靜地躺著，像睡著了一般褪贵。 火紅的嫁衣襯著肌膚如雪掂之。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 49,792評論 1贊 290
  • 城市分裂傳說
    那天脆丁，我揣著相機與錄音世舰，去河邊找鬼。 笑死槽卫，一個胖子當(dāng)著我的面吹牛跟压，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播歼培，決...
    沈念sama閱讀 38,933評論 3贊 406
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼震蒋，長吁一口氣：“原來是場噩夢啊……” “哼茸塞！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起查剖，我...
    開封第一講書人閱讀 37,701評論 0贊 266
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤钾虐，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后笋庄，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體效扫，經(jīng)...
    沈念sama閱讀 44,143評論 1贊 303
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,488評論 2贊 327
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年直砂，在試婚紗的時候發(fā)現(xiàn)自己被綠了菌仁。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,626評論 1贊 340
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡静暂，死狀恐怖济丘，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情洽蛀，我是刑警寧澤摹迷，帶...
    沈念sama閱讀 34,292評論 4贊 329
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站辱士，受9級特大地震影響泪掀，放射性物質(zhì)發(fā)生泄漏听绳。R本人自食惡果不足惜颂碘，卻給世界環(huán)境...
    茶點故事閱讀 39,896評論 3贊 313
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望椅挣。 院中可真熱鬧头岔，春花似錦、人聲如沸鼠证。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,742評論 0贊 21
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽量九。三九已至适掰，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間荠列，已是汗流浹背类浪。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1贊 265
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留肌似，地道東北人费就。 一個月前我還...
    沈念sama閱讀 46,324評論 2贊 360
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像川队，于是被迫代替她去往敵國和親力细。 傳聞我的和親對象是個殘疾皇子睬澡，可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,494評論 2贊 348