1.自然語言整體概覽
文本分類方法集錦
基于text-cnn文本分類
基于SVM
基于dnn的文本情感分析
多類別文本分類
中文文本分類
文本分類之機(jī)器學(xué)習(xí)
自然語言處理工具簡介
我愛自然語言處理
2.爬蟲
爬取網(wǎng)易云音樂
技術(shù)路徑:requests+json+re
抓取歌曲和歌詞
參考2:https://blog.csdn.net/And_w/article/details/72082034爬取新浪新聞
requests和bs庫爬取國內(nèi)新聞版塊
多線程新浪新聞搜索網(wǎng)絡(luò)爬蟲-基于關(guān)鍵字
異步協(xié)程加速爬蟲
3.分詞
結(jié)巴中文分詞介紹
結(jié)巴介紹與應(yīng)用
語義分析系統(tǒng)
知網(wǎng)中文版-情感分析用詞
知網(wǎng)情感分詞用詞集
wordcloud制作詞云圖
4.文本表示模型
詞袋模型瘫析,TF-IDF酣溃,主題模型党涕,詞嵌入模型
使用scikit-learn計算TF-IDF
TF-IDF介紹
N-gram模型
Word2vec模型
5.模型比較
準(zhǔn)確率accuracy、精度precision、召回率recall、F1-score
sklearn.metrics中的評估方法accuracy, recall, roc, auc, confusion_matrix
AUC計算
ROC和AUC計算
f1_score計算
cross_val_score參數(shù)
訓(xùn)練集驗(yàn)證集和測試集
訓(xùn)練集、驗(yàn)證集和測試集 交叉驗(yàn)證
不平衡樣本
cross_validatio包不存在
- 附錄:
停用詞:1893
!
"
#
$
%
&
'
(
)
*
+
,
-
--
.
..
...
......
...................
./
.一
.數(shù)
.日
/
//
0
1
2
3
4
5
6
7
8
9
:
://
::
;
<
=
>
>>
?
@
A
Lex
[
\
]
^
_
`
exp
sub
sup
|
}
~
~~~~
·
×
×××
Δ
Ψ
γ
μ
φ
φ.
В
—
——
———
‘
’
’‘
“
”
”,
…
……
…………………………………………………③
′∈
′|
℃
Ⅲ
↑
→
∈[
∪φ∈
≈
①
②
②c
③
③]
④
⑤
⑥
⑦
⑧
⑨
⑩
──
■
▲
磅网、
。
〈
〉
《
》
》)筷屡,
」
『
』
【
】
〔
〕
〕〔
㈧
一
一.
一一
一下
一個
一些
一何
一切
一則
一則通過
一天
一定
一方面
一旦
一時
一來
一樣
一次
一片
一番
一直
一致
一般
一起
一轉(zhuǎn)眼
一邊
一面
七
萬一
三
三天兩頭
三番兩次
三番五次
上
上下
上升
上去
上來
上述
上面
下
下列
下去
下來
下面
不
不一
不下
不久
不了
不亦樂乎
不僅
不僅...而且
不僅僅
不僅僅是
不會
不但
不但...而且
不光
不免
不再
不力
不單
不變
不只
不可
不可開交
不可抗拒
不同
不外
不外乎
不夠
不大
不如
不妨
不定
不對
不少
不盡
不盡然
不巧
不已
不常
不得
不得不
不得了
不得已
不必
不怎么
不怕
不惟
不成
不拘
不擇手段
不敢
不料
不斷
不日
不時
不是
不曾
不止
不止一次
不比
不消
不滿
不然
不然的話
不特
不獨(dú)
不由得
不知不覺
不管
不管怎樣
不經(jīng)意
不勝
不能
不能不
不至于
不若
不要
不論
不起
不足
不過
不迭
不問
不限
與
與其
與其說
與否
與此同時
專門
且
且不說
且說
兩者
嚴(yán)格
嚴(yán)重
個
個人
個別
中小
中間
豐富
串行
臨
臨到
為
為主
為了
為什么
為什麼
為何
為止
為此
為著
主張
主要
舉凡
舉行
乃
乃至
乃至于
么
之
之一
之前
之后
之後
之所以
之類
烏乎
乎
乒
乘
乘勢
乘機(jī)
乘勝
乘虛
乘隙
九
也
也好
也就是說
也是
也罷
了
了解
爭取
二
二來
二話不說
二話沒說
于
于是
于是乎
云云
云爾
互
互相
五
些
交口
亦
產(chǎn)生
親口
親手
親眼
親自
親身
人
人人
人們
人家
人民
什么
什么樣
什麼
僅
僅僅
今
今后
今天
今年
今後
介于
仍
仍舊
仍然
從
從不
從嚴(yán)
從中
從事
從今以后
從優(yōu)
從古到今
從古至今
從頭
從寬
從小
從新
從無到有
從早到晚
從未
從來
從此
從此以后
從而
從輕
從速
從重
他
他人
他們
他是
他的
代替
以
以上
以下
以為
以便
以免
以前
以及
以后
以外
以後
以故
以期
以來
以至
以至于
以致
們
任
任何
任憑
任務(wù)
企圖
伙同
會
偉大
傳
傳說
傳聞
似乎
似的
但
但凡
但愿
但是
何
何樂而不為
何以
何況
何處
何妨
何嘗
何必
何時
何止
何苦
何須
余外
作為
你
你們
你是
你的
使
使得
使用
例如
依
依據(jù)
依照
依靠
便
便于
促進(jìn)
保持
保管
保險
俺
俺們
倍加
倍感
倒不如
倒不如說
倒是
倘
倘使
倘或
倘然
倘若
借
借以
借此
假使
假如
假若
偏偏
做到
偶爾
偶而
儻然
像
兒
允許
元/噸
充其極
充其量
充分
先不先
先后
先後
先生
光
光是
全體
全力
全年
全然
全身心
全部
全都
全面
八
八成
公然
六
兮
共
共同
共總
關(guān)于
其
其一
其中
其二
其他
其余
其后
其它
其實(shí)
其次
具體
具體地說
具體來說
具體說來
具有
兼之
內(nèi)
再
再其次
再則
再有
再次
再者
再者說
再說
冒
沖
決不
決定
決非
況且
準(zhǔn)備
湊巧
凝神
幾
幾乎
幾度
幾時
幾番
幾經(jīng)
凡
凡是
憑
憑借
出
出于
出去
出來
出現(xiàn)
分別
分頭
分期
分期分批
切
切不可
切切
切勿
切莫
則
則甚
剛
剛好
剛巧
剛才
初
別
別人
別處
別是
別的
別管
別說
到
到了兒
到處
到頭
到頭來
到底
到目前為止
前后
前此
前者
前進(jìn)
前面
加上
加之
加以
加入
加強(qiáng)
動不動
動輒
勃然
匆匆
十分
千
千萬
千萬千萬
半
單
單單
單純
即
即令
即使
即便
即刻
即如
即將
即或
即是說
即若
卻
卻不
歷
原來
去
又
又及
及
及其
及時
及至
雙方
反之
反之亦然
反之則
反倒
反倒是
反應(yīng)
反手
反映
反而
反過來
反過來說
取得
取道
受到
變成
古來
另
另一個
另一方面
另外
另悉
另方面
另行
只
只當(dāng)
只怕
只是
只有
只消
只要
只限
叫
叫做
召開
叮咚
叮當(dāng)
可
可以
可好
可是
可能
可見
各
各個
各人
各位
各地
各式
各種
各級
各自
合理
同
同一
同時
同樣
后
后來
后者
后面
向
向使
向著
嚇
嗎
否則
吧
吧噠
吱
呀
呃
呆呆地
吶
嘔
唄
嗚
嗚呼
呢
周圍
呵
呵呵
呸
呼哧
呼啦
咋
和
咚
咦
咧
咱
咱們
咳
哇
哈
哈哈
哉
哎
哎呀
哎喲
嘩
嘩啦
喲
哦
哩
哪
哪個
哪些
哪兒
哪天
哪年
哪怕
哪樣
哪邊
哪里
哼
哼唷
唉
唯有
啊
啊呀
啊哈
啊喲
啐
啥
啦
啪達(dá)
啷當(dāng)
喀
喂
喏
喔唷
嘍
嗡
嗡嗡
嗬
嗯
噯
嘎
嘎嘎
嘎登
噓
嘛
嘻
嘿
嘿嘿
四
因
因?yàn)?因了
因此
因著
因而
固
固然
在
在下
在于
地
均
堅決
堅持
基于
基本
基本上
處在
處處
處理
復(fù)雜
多
多么
多虧
多多
多多少少
多多益善
多少
多年前
多年來
多數(shù)
多次
夠瞧的
大
大不了
大舉
大事
大體
大體上
大凡
大力
大多
大多數(shù)
大大
大家
大張旗鼓
大批
大抵
大概
大略
大約
大致
大都
大量
大面兒上
失去
奇
奈
奮勇
她
她們
她是
她的
好
好在
好的
好象
如
如上
如上所述
如下
如今
如何
如其
如前所述
如同
如常
如是
如期
如果
如次
如此
如此等等
如若
始而
姑且
存在
存心
孰料
孰知
寧
寧可
寧愿
寧肯
它
它們
它們的
它是
它的
安全
完全
完成
定
實(shí)現(xiàn)
實(shí)際
宣布
容易
密切
對
對于
對應(yīng)
對待
對方
對比
將
將才
將要
將近
小
少數(shù)
爾
爾后
爾爾
爾等
尚且
尤其
就
就地
就是
就是了
就是說
就此
就算
就要
盡
盡可能
盡如人意
盡心盡力
盡心竭力
盡快
盡早
盡然
盡管
盡管如此
盡量
局外
居然
屆時
屬于
屢
屢屢
屢次
屢次三番
豈
豈但
豈止
豈非
川流不息
左右
巨大
鞏固
差一點(diǎn)
差不多
己
已
已矣
已經(jīng)
巴
巴巴
帶
幫助
常
常常
常言說
常言說得好
常言道
平素
年復(fù)一年
并
并不
并不是
并且
并排
并無
并沒
并沒有
并肩
并非
廣大
廣泛
應(yīng)當(dāng)
應(yīng)用
應(yīng)該
庶乎
庶幾
開外
開始
開展
引起
弗
彈指之間
強(qiáng)烈
強(qiáng)調(diào)
歸
歸根到底
歸根結(jié)底
歸齊
當(dāng)
當(dāng)下
當(dāng)中
當(dāng)兒
當(dāng)前
當(dāng)即
當(dāng)口兒
當(dāng)?shù)?當(dāng)場
當(dāng)頭
當(dāng)庭
當(dāng)時
當(dāng)然
當(dāng)真
當(dāng)著
形成
徹夜
徹底
彼
彼時
彼此
往
往往
待
待到
很
很多
很少
後來
後面
得
得了
得出
得到
得天獨(dú)厚
得起
心里
必
必定
必將
必然
必要
必須
快
快要
忽地
忽然
怎
怎么
怎么辦
怎么樣
怎奈
怎樣
怎麼
怕
急匆匆
怪
怪不得
總之
總是
總的來看
總的來說
總的說來
總結(jié)
總而言之
恍然
恐怕
恰似
恰好
恰如
恰巧
恰恰
恰恰相反
恰逢
您
您們
您是
惟其
慣常
意思
憤然
愿意
慢說
成為
成年
成年累月
成心
我
我們
我是
我的
或
或則
或多或少
或是
或曰
或者
或許
戰(zhàn)斗
截然
截至
所
所以
所在
所幸
所有
所謂
才
才能
撲通
打
打從
打開天窗說亮話
擴(kuò)大
把
抑或
抽冷子
攔腰
拿
按
按時
按期
按照
按理
按說
挨個
挨家挨戶
挨次
挨著
挨門挨戶
挨門逐戶
換句話說
換言之
據(jù)
據(jù)實(shí)
據(jù)悉
據(jù)我所知
據(jù)此
據(jù)稱
據(jù)說
掌握
接下來
接著
接著
接連不斷
放量
故
故意
故此
故而
敞開兒
敢
敢于
敢情
數(shù)/
整個
斷然
方
方便
方才
方能
方面
旁人
無
無寧
無法
無論
既
既...又
既往
既是
既然
日復(fù)一日
日漸
日益
日臻
日見
時候
昂然
明顯
明確
是
是不是
是以
是否
是的
顯然
顯著
普通
普遍
暗中
暗地里
暗自
更
更為
更加
更進(jìn)一步
曾
曾經(jīng)
替
替代
最
最后
最大
最好
最後
最近
最高
有
有些
有關(guān)
有利
有力
有及
有所
有效
有時
有點(diǎn)
有的
有的是
有著
有著
望
朝
朝著
末##末
本
本人
本地
本著
本身
權(quán)時
來
來不及
來得及
來看
來著
來自
來講
來說
極
極為
極了
極其
極力
極大
極度
極端
構(gòu)成
果然
果真
某
某個
某些
某某
根據(jù)
根本
格外
梆
概
次第
歡迎
歟
正值
正在
正如
正巧
正常
正是
此
此中
此后
此地
此處
此外
此時
此次
此間
殆
毋寧
每
每個
每天
每年
每當(dāng)
每時每刻
每每
每逢
比
比及
比如
比如說
比方
比照
比起
比較
畢竟
毫不
毫無
毫無例外
毫無保留地
汝
沙沙
沒
沒奈何
沒有
沿
沿著
注意
活
深入
清楚
滿
滿足
漫說
焉
然
然則
然后
然後
然而
照
照著
牢牢
特別是
特殊
特點(diǎn)
猶且
猶自
獨(dú)
獨(dú)自
猛然
猛然間
率爾
率然
現(xiàn)代
現(xiàn)在
理應(yīng)
理當(dāng)
理該
瑟瑟
甚且
甚么
甚或
甚而
甚至
甚至于
用
用來
甫
甭
由
由于
由是
由此
由此可見
略
略為
略加
略微
白
白白
的
的確
的話
皆可
目前
直到
直接
相似
相信
相反
相同
相對
相對而言
相應(yīng)
相當(dāng)
相等
省得
看
看上去
看出
看到
看來
看樣子
看看
看見
看起來
真是
真正
眨眼
著
著呢
矣
矣乎
矣哉
知道
砰
確定
碰巧
社會主義
離
種
積極
移動
究竟
窮年累月
突出
突然
竊
立
立刻
立即
立地
立時
立馬
竟
竟然
竟而
第
第二
等
等到
等等
策略地
簡直
簡而言之
簡言之
管
類如
粗
精光
緊接著
累年
累次
純
純粹
縱
縱令
縱使
縱然
練習(xí)
組成
經(jīng)
經(jīng)常
經(jīng)過
結(jié)合
結(jié)果
給
絕
絕不
絕對
絕非
絕頂
繼之
繼后
繼續(xù)
繼而
維持
綜上所述
縷縷
罷了
老
老大
老是
老老實(shí)實(shí)
考慮
者
而
而且
而況
而又
而后
而外
而已
而是
而言
而論
聯(lián)系
聯(lián)袂
背地里
背靠背
能
能否
能夠
騰
自
自個兒
自從
自各兒
自后
自家
自己
自打
自身
臭
至
至于
至今
至若
致
般的
良好
若
若夫
若是
若果
若非
范圍
莫
莫不
莫不然
莫如
莫若
莫非
獲得
藉以
雖
雖則
雖然
雖說
蠻
行為
行動
表明
表示
被
要
要不
要不是
要不然
要么
要是
要求
見
規(guī)定
覺得
譬喻
譬如
認(rèn)為
認(rèn)真
認(rèn)識
讓
許多
論
論說
設(shè)使
設(shè)或
設(shè)若
誠如
誠然
話說
該
該當(dāng)
說明
說來
說說
請勿
諸
諸位
諸如
誰
誰人
誰料
誰知
謹(jǐn)
豁然
賊死
賴以
趕
趕快
趕早不趕晚
起
起先
起初
起頭
起來
起見
起首
趁
趁便
趁勢
趁早
趁機(jī)
趁熱
趁著
越是
距
跟
路經(jīng)
轉(zhuǎn)動
轉(zhuǎn)變
轉(zhuǎn)貼
轟然
較
較為
較之
較比
邊
達(dá)到
達(dá)旦
迄
迅速
過
過于
過去
過來
運(yùn)用
近
近幾年來
近年來
近來
還
還是
還有
還要
這
這一來
這個
這么
這么些
這么樣
這么點(diǎn)兒
這些
這會兒
這兒
這就是說
這時
這樣
這次
這點(diǎn)
這種
這般
這邊
這里
這麼
進(jìn)入
進(jìn)去
進(jìn)來
進(jìn)步
進(jìn)而
進(jìn)行
連
連同
連聲
連日
連日來
連袂
連連
遲早
迫于
適應(yīng)
適當(dāng)
適用
逐步
逐漸
通常
通過
造成
逢
遇到
遭到
遵循
遵照
避免
那
那個
那么
那么些
那么樣
那些
那會兒
那兒
那時
那末
那樣
那般
那邊
那里
那麼
部分
都
鄙人
采取
里面
重大
重新
重要
鑒于
針對
長期以來
長此下去
長線
長話短說
問題
間或
防止
阿
附近
陳年
限制
陡然
除
除了
除卻
除去
除外
除開
除此
除此之外
除此以外
除此而外
除非
隨
隨后
隨時
隨著
隨著
隔夜
隔日
難得
難怪
難說
難道
難道說
集中
零
需要
非但
非常
非徒
非得
非特
非獨(dú)
靠
頂多
頃
頃刻
頃刻之間
頃刻間
順
順著
頓時
頗
風(fēng)雨無阻
飽
首先
馬上
高低
高興
默然
默默地
齊
︿
涧偷!
#
$
%
&
'
(
)
)÷(1-
)、
*
+
+ξ
++
毙死,
燎潮,也
-
-β
--
-[*]-
.
/
0
0:2
1
1.
12%
2
2.3%
3
4
5
5:0
6
7
8
9
:
;
<
<±
<Δ
<λ
<φ
<<
=
=″
=☆
=(
=-
=[
={
>
>λ
扼倘?
@
A
LI
R.L.
ZXFITL
[
[①①]
[①②]
[①③]
[①④]
[①⑤]
[①⑥]
[①⑦]
[①⑧]
[①⑨]
[①A]
[①B]
[①C]
[①D]
[①E]
[①]
[①a]
[①c]
[①d]
[①e]
[①f]
[①g]
[①h]
[①i]
[①o]
[②
[②①]
[②②]
[②③]
[②④
[②⑤]
[②⑥]
[②⑦]
[②⑧]
[②⑩]
[②B]
[②G]
[②]
[②a]
[②b]
[②c]
[②d]
[②e]
[②f]
[②g]
[②h]
[②i]
[②j]
[③①]
[③⑩]
[③F]
[③]
[③a]
[③b]
[③c]
[③d]
[③e]
[③g]
[③h]
[④]
[④a]
[④b]
[④c]
[④d]
[④e]
[⑤]
[⑤]]
[⑤a]
[⑤b]
[⑤d]
[⑤e]
[⑤f]
[⑥]
[⑦]
[⑧]
[⑨]
[⑩]
[*]
[-
[]
]
]∧′=[
][
_
a]
b]
c]
e]
f]
ng昉
{
{-
|
}
}>
~
~±
~+
¥