Python篇—文本分類

1.自然語言整體概覽

文本分類方法集錦
基于text-cnn文本分類
基于SVM
基于dnn的文本情感分析
多類別文本分類
中文文本分類
文本分類之機(jī)器學(xué)習(xí)
自然語言處理工具簡介
我愛自然語言處理

2.爬蟲

3.分詞

結(jié)巴中文分詞介紹
結(jié)巴介紹與應(yīng)用
語義分析系統(tǒng)
知網(wǎng)中文版-情感分析用詞
知網(wǎng)情感分詞用詞集
wordcloud制作詞云圖

4.文本表示模型

詞袋模型瘫析,TF-IDF酣溃,主題模型党涕,詞嵌入模型
使用scikit-learn計算TF-IDF
TF-IDF介紹
N-gram模型
Word2vec模型

5.模型比較

準(zhǔn)確率accuracy、精度precision、召回率recall、F1-score
sklearn.metrics中的評估方法accuracy, recall, roc, auc, confusion_matrix
AUC計算
ROC和AUC計算
f1_score計算
cross_val_score參數(shù)
訓(xùn)練集驗(yàn)證集和測試集
訓(xùn)練集、驗(yàn)證集和測試集 交叉驗(yàn)證
不平衡樣本
cross_validatio包不存在

  • 附錄:
    停用詞:1893
!
"
#
$
%
&
'
(
)
*
+
,
-
--
.
..
...
......
...................
./
.一
.數(shù)
.日
/
//
0
1
2
3
4
5
6
7
8
9
:
://
::
;
<
=
>
>>
?
@
A
Lex
[
\
]
^
_
`
exp
sub
sup
|
}
~
~~~~
·
×
×××
Δ
Ψ
γ
μ
φ
φ.
В
—
——
———
‘
’
’‘
“
”
”,
…
……
…………………………………………………③
′∈
′|
℃
Ⅲ
↑
→
∈[
∪φ∈
≈
①
②
②c
③
③]
④
⑤
⑥
⑦
⑧
⑨
⑩
──
■
▲
 
磅网、
。
〈
〉
《
》
》)筷屡,
」
『
』
【
】
〔
〕
〕〔
㈧
一
一.
一一
一下
一個
一些
一何
一切
一則
一則通過
一天
一定
一方面
一旦
一時
一來
一樣
一次
一片
一番
一直
一致
一般
一起
一轉(zhuǎn)眼
一邊
一面
七
萬一
三
三天兩頭
三番兩次
三番五次
上
上下
上升
上去
上來
上述
上面
下
下列
下去
下來
下面
不
不一
不下
不久
不了
不亦樂乎
不僅
不僅...而且
不僅僅
不僅僅是
不會
不但
不但...而且
不光
不免
不再
不力
不單
不變
不只
不可
不可開交
不可抗拒
不同
不外
不外乎
不夠
不大
不如
不妨
不定
不對
不少
不盡
不盡然
不巧
不已
不常
不得
不得不
不得了
不得已
不必
不怎么
不怕
不惟
不成
不拘
不擇手段
不敢
不料
不斷
不日
不時
不是
不曾
不止
不止一次
不比
不消
不滿
不然
不然的話
不特
不獨(dú)
不由得
不知不覺
不管
不管怎樣
不經(jīng)意
不勝
不能
不能不
不至于
不若
不要
不論
不起
不足
不過
不迭
不問
不限
與
與其
與其說
與否
與此同時
專門
且
且不說
且說
兩者
嚴(yán)格
嚴(yán)重
個
個人
個別
中小
中間
豐富
串行
臨
臨到
為
為主
為了
為什么
為什麼
為何
為止
為此
為著
主張
主要
舉凡
舉行
乃
乃至
乃至于
么
之
之一
之前
之后
之後
之所以
之類
烏乎
乎
乒
乘
乘勢
乘機(jī)
乘勝
乘虛
乘隙
九
也
也好
也就是說
也是
也罷
了
了解
爭取
二
二來
二話不說
二話沒說
于
于是
于是乎
云云
云爾
互
互相
五
些
交口
亦
產(chǎn)生
親口
親手
親眼
親自
親身
人
人人
人們
人家
人民
什么
什么樣
什麼
僅
僅僅
今
今后
今天
今年
今後
介于
仍
仍舊
仍然
從
從不
從嚴(yán)
從中
從事
從今以后
從優(yōu)
從古到今
從古至今
從頭
從寬
從小
從新
從無到有
從早到晚
從未
從來
從此
從此以后
從而
從輕
從速
從重
他
他人
他們
他是
他的
代替
以
以上
以下
以為
以便
以免
以前
以及
以后
以外
以後
以故
以期
以來
以至
以至于
以致
們
任
任何
任憑
任務(wù)
企圖
伙同
會
偉大
傳
傳說
傳聞
似乎
似的
但
但凡
但愿
但是
何
何樂而不為
何以
何況
何處
何妨
何嘗
何必
何時
何止
何苦
何須
余外
作為
你
你們
你是
你的
使
使得
使用
例如
依
依據(jù)
依照
依靠
便
便于
促進(jìn)
保持
保管
保險
俺
俺們
倍加
倍感
倒不如
倒不如說
倒是
倘
倘使
倘或
倘然
倘若
借
借以
借此
假使
假如
假若
偏偏
做到
偶爾
偶而
儻然
像
兒
允許
元/噸
充其極
充其量
充分
先不先
先后
先後
先生
光
光是
全體
全力
全年
全然
全身心
全部
全都
全面
八
八成
公然
六
兮
共
共同
共總
關(guān)于
其
其一
其中
其二
其他
其余
其后
其它
其實(shí)
其次
具體
具體地說
具體來說
具體說來
具有
兼之
內(nèi)
再
再其次
再則
再有
再次
再者
再者說
再說
冒
沖
決不
決定
決非
況且
準(zhǔn)備
湊巧
凝神
幾
幾乎
幾度
幾時
幾番
幾經(jīng)
凡
凡是
憑
憑借
出
出于
出去
出來
出現(xiàn)
分別
分頭
分期
分期分批
切
切不可
切切
切勿
切莫
則
則甚
剛
剛好
剛巧
剛才
初
別
別人
別處
別是
別的
別管
別說
到
到了兒
到處
到頭
到頭來
到底
到目前為止
前后
前此
前者
前進(jìn)
前面
加上
加之
加以
加入
加強(qiáng)
動不動
動輒
勃然
匆匆
十分
千
千萬
千萬千萬
半
單
單單
單純
即
即令
即使
即便
即刻
即如
即將
即或
即是說
即若
卻
卻不
歷
原來
去
又
又及
及
及其
及時
及至
雙方
反之
反之亦然
反之則
反倒
反倒是
反應(yīng)
反手
反映
反而
反過來
反過來說
取得
取道
受到
變成
古來
另
另一個
另一方面
另外
另悉
另方面
另行
只
只當(dāng)
只怕
只是
只有
只消
只要
只限
叫
叫做
召開
叮咚
叮當(dāng)
可
可以
可好
可是
可能
可見
各
各個
各人
各位
各地
各式
各種
各級
各自
合理
同
同一
同時
同樣
后
后來
后者
后面
向
向使
向著
嚇
嗎
否則
吧
吧噠
吱
呀
呃
呆呆地
吶
嘔
唄
嗚
嗚呼
呢
周圍
呵
呵呵
呸
呼哧
呼啦
咋
和
咚
咦
咧
咱
咱們
咳
哇
哈
哈哈
哉
哎
哎呀
哎喲
嘩
嘩啦
喲
哦
哩
哪
哪個
哪些
哪兒
哪天
哪年
哪怕
哪樣
哪邊
哪里
哼
哼唷
唉
唯有
啊
啊呀
啊哈
啊喲
啐
啥
啦
啪達(dá)
啷當(dāng)
喀
喂
喏
喔唷
嘍
嗡
嗡嗡
嗬
嗯
噯
嘎
嘎嘎
嘎登
噓
嘛
嘻
嘿
嘿嘿
四
因
因?yàn)?因了
因此
因著
因而
固
固然
在
在下
在于
地
均
堅決
堅持
基于
基本
基本上
處在
處處
處理
復(fù)雜
多
多么
多虧
多多
多多少少
多多益善
多少
多年前
多年來
多數(shù)
多次
夠瞧的
大
大不了
大舉
大事
大體
大體上
大凡
大力
大多
大多數(shù)
大大
大家
大張旗鼓
大批
大抵
大概
大略
大約
大致
大都
大量
大面兒上
失去
奇
奈
奮勇
她
她們
她是
她的
好
好在
好的
好象
如
如上
如上所述
如下
如今
如何
如其
如前所述
如同
如常
如是
如期
如果
如次
如此
如此等等
如若
始而
姑且
存在
存心
孰料
孰知
寧
寧可
寧愿
寧肯
它
它們
它們的
它是
它的
安全
完全
完成
定
實(shí)現(xiàn)
實(shí)際
宣布
容易
密切
對
對于
對應(yīng)
對待
對方
對比
將
將才
將要
將近
小
少數(shù)
爾
爾后
爾爾
爾等
尚且
尤其
就
就地
就是
就是了
就是說
就此
就算
就要
盡
盡可能
盡如人意
盡心盡力
盡心竭力
盡快
盡早
盡然
盡管
盡管如此
盡量
局外
居然
屆時
屬于
屢
屢屢
屢次
屢次三番
豈
豈但
豈止
豈非
川流不息
左右
巨大
鞏固
差一點(diǎn)
差不多
己
已
已矣
已經(jīng)
巴
巴巴
帶
幫助
常
常常
常言說
常言說得好
常言道
平素
年復(fù)一年
并
并不
并不是
并且
并排
并無
并沒
并沒有
并肩
并非
廣大
廣泛
應(yīng)當(dāng)
應(yīng)用
應(yīng)該
庶乎
庶幾
開外
開始
開展
引起
弗
彈指之間
強(qiáng)烈
強(qiáng)調(diào)
歸
歸根到底
歸根結(jié)底
歸齊
當(dāng)
當(dāng)下
當(dāng)中
當(dāng)兒
當(dāng)前
當(dāng)即
當(dāng)口兒
當(dāng)?shù)?當(dāng)場
當(dāng)頭
當(dāng)庭
當(dāng)時
當(dāng)然
當(dāng)真
當(dāng)著
形成
徹夜
徹底
彼
彼時
彼此
往
往往
待
待到
很
很多
很少
後來
後面
得
得了
得出
得到
得天獨(dú)厚
得起
心里
必
必定
必將
必然
必要
必須
快
快要
忽地
忽然
怎
怎么
怎么辦
怎么樣
怎奈
怎樣
怎麼
怕
急匆匆
怪
怪不得
總之
總是
總的來看
總的來說
總的說來
總結(jié)
總而言之
恍然
恐怕
恰似
恰好
恰如
恰巧
恰恰
恰恰相反
恰逢
您
您們
您是
惟其
慣常
意思
憤然
愿意
慢說
成為
成年
成年累月
成心
我
我們
我是
我的
或
或則
或多或少
或是
或曰
或者
或許
戰(zhàn)斗
截然
截至
所
所以
所在
所幸
所有
所謂
才
才能
撲通
打
打從
打開天窗說亮話
擴(kuò)大
把
抑或
抽冷子
攔腰
拿
按
按時
按期
按照
按理
按說
挨個
挨家挨戶
挨次
挨著
挨門挨戶
挨門逐戶
換句話說
換言之
據(jù)
據(jù)實(shí)
據(jù)悉
據(jù)我所知
據(jù)此
據(jù)稱
據(jù)說
掌握
接下來
接著
接著
接連不斷
放量
故
故意
故此
故而
敞開兒
敢
敢于
敢情
數(shù)/
整個
斷然
方
方便
方才
方能
方面
旁人
無
無寧
無法
無論
既
既...又
既往
既是
既然
日復(fù)一日
日漸
日益
日臻
日見
時候
昂然
明顯
明確
是
是不是
是以
是否
是的
顯然
顯著
普通
普遍
暗中
暗地里
暗自
更
更為
更加
更進(jìn)一步
曾
曾經(jīng)
替
替代
最
最后
最大
最好
最後
最近
最高
有
有些
有關(guān)
有利
有力
有及
有所
有效
有時
有點(diǎn)
有的
有的是
有著
有著
望
朝
朝著
末##末
本
本人
本地
本著
本身
權(quán)時
來
來不及
來得及
來看
來著
來自
來講
來說
極
極為
極了
極其
極力
極大
極度
極端
構(gòu)成
果然
果真
某
某個
某些
某某
根據(jù)
根本
格外
梆
概
次第
歡迎
歟
正值
正在
正如
正巧
正常
正是
此
此中
此后
此地
此處
此外
此時
此次
此間
殆
毋寧
每
每個
每天
每年
每當(dāng)
每時每刻
每每
每逢
比
比及
比如
比如說
比方
比照
比起
比較
畢竟
毫不
毫無
毫無例外
毫無保留地
汝
沙沙
沒
沒奈何
沒有
沿
沿著
注意
活
深入
清楚
滿
滿足
漫說
焉
然
然則
然后
然後
然而
照
照著
牢牢
特別是
特殊
特點(diǎn)
猶且
猶自
獨(dú)
獨(dú)自
猛然
猛然間
率爾
率然
現(xiàn)代
現(xiàn)在
理應(yīng)
理當(dāng)
理該
瑟瑟
甚且
甚么
甚或
甚而
甚至
甚至于
用
用來
甫
甭
由
由于
由是
由此
由此可見
略
略為
略加
略微
白
白白
的
的確
的話
皆可
目前
直到
直接
相似
相信
相反
相同
相對
相對而言
相應(yīng)
相當(dāng)
相等
省得
看
看上去
看出
看到
看來
看樣子
看看
看見
看起來
真是
真正
眨眼
著
著呢
矣
矣乎
矣哉
知道
砰
確定
碰巧
社會主義
離
種
積極
移動
究竟
窮年累月
突出
突然
竊
立
立刻
立即
立地
立時
立馬
竟
竟然
竟而
第
第二
等
等到
等等
策略地
簡直
簡而言之
簡言之
管
類如
粗
精光
緊接著
累年
累次
純
純粹
縱
縱令
縱使
縱然
練習(xí)
組成
經(jīng)
經(jīng)常
經(jīng)過
結(jié)合
結(jié)果
給
絕
絕不
絕對
絕非
絕頂
繼之
繼后
繼續(xù)
繼而
維持
綜上所述
縷縷
罷了
老
老大
老是
老老實(shí)實(shí)
考慮
者
而
而且
而況
而又
而后
而外
而已
而是
而言
而論
聯(lián)系
聯(lián)袂
背地里
背靠背
能
能否
能夠
騰
自
自個兒
自從
自各兒
自后
自家
自己
自打
自身
臭
至
至于
至今
至若
致
般的
良好
若
若夫
若是
若果
若非
范圍
莫
莫不
莫不然
莫如
莫若
莫非
獲得
藉以
雖
雖則
雖然
雖說
蠻
行為
行動
表明
表示
被
要
要不
要不是
要不然
要么
要是
要求
見
規(guī)定
覺得
譬喻
譬如
認(rèn)為
認(rèn)真
認(rèn)識
讓
許多
論
論說
設(shè)使
設(shè)或
設(shè)若
誠如
誠然
話說
該
該當(dāng)
說明
說來
說說
請勿
諸
諸位
諸如
誰
誰人
誰料
誰知
謹(jǐn)
豁然
賊死
賴以
趕
趕快
趕早不趕晚
起
起先
起初
起頭
起來
起見
起首
趁
趁便
趁勢
趁早
趁機(jī)
趁熱
趁著
越是
距
跟
路經(jīng)
轉(zhuǎn)動
轉(zhuǎn)變
轉(zhuǎn)貼
轟然
較
較為
較之
較比
邊
達(dá)到
達(dá)旦
迄
迅速
過
過于
過去
過來
運(yùn)用
近
近幾年來
近年來
近來
還
還是
還有
還要
這
這一來
這個
這么
這么些
這么樣
這么點(diǎn)兒
這些
這會兒
這兒
這就是說
這時
這樣
這次
這點(diǎn)
這種
這般
這邊
這里
這麼
進(jìn)入
進(jìn)去
進(jìn)來
進(jìn)步
進(jìn)而
進(jìn)行
連
連同
連聲
連日
連日來
連袂
連連
遲早
迫于
適應(yīng)
適當(dāng)
適用
逐步
逐漸
通常
通過
造成
逢
遇到
遭到
遵循
遵照
避免
那
那個
那么
那么些
那么樣
那些
那會兒
那兒
那時
那末
那樣
那般
那邊
那里
那麼
部分
都
鄙人
采取
里面
重大
重新
重要
鑒于
針對
長期以來
長此下去
長線
長話短說
問題
間或
防止
阿
附近
陳年
限制
陡然
除
除了
除卻
除去
除外
除開
除此
除此之外
除此以外
除此而外
除非
隨
隨后
隨時
隨著
隨著
隔夜
隔日
難得
難怪
難說
難道
難道說
集中
零
需要
非但
非常
非徒
非得
非特
非獨(dú)
靠
頂多
頃
頃刻
頃刻之間
頃刻間
順
順著
頓時
頗
風(fēng)雨無阻
飽
首先
馬上
高低
高興
默然
默默地
齊
︿
涧偷!
#
$
%
&
'
(
)
)÷(1-
)、
*
+
+ξ
++
毙死,
燎潮,也
-
-β
--
-[*]-
.
/
0
0:2
1
1.
12%
2
2.3%
3
4
5
5:0
6
7
8
9
:
;
<
<±
<Δ
<λ
<φ
<<
=
=″
=☆
=(
=-
=[
={
>
>λ
扼倘?
@
A
LI
R.L.
ZXFITL
[
[①①]
[①②]
[①③]
[①④]
[①⑤]
[①⑥]
[①⑦]
[①⑧]
[①⑨]
[①A]
[①B]
[①C]
[①D]
[①E]
[①]
[①a]
[①c]
[①d]
[①e]
[①f]
[①g]
[①h]
[①i]
[①o]
[②
[②①]
[②②]
[②③]
[②④
[②⑤]
[②⑥]
[②⑦]
[②⑧]
[②⑩]
[②B]
[②G]
[②]
[②a]
[②b]
[②c]
[②d]
[②e]
[②f]
[②g]
[②h]
[②i]
[②j]
[③①]
[③⑩]
[③F]
[③]
[③a]
[③b]
[③c]
[③d]
[③e]
[③g]
[③h]
[④]
[④a]
[④b]
[④c]
[④d]
[④e]
[⑤]
[⑤]]
[⑤a]
[⑤b]
[⑤d]
[⑤e]
[⑤f]
[⑥]
[⑦]
[⑧]
[⑨]
[⑩]
[*]
[-
[]
]
]∧′=[
][
_
a]
b]
c]
e]
f]
ng昉
{
{-
|
}
}>
~
~±
~+
¥
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末跟啤,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌隅肥,老刑警劉巖竿奏,帶你破解...
    沈念sama閱讀 222,183評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異腥放,居然都是意外死亡泛啸,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,850評論 3 399
  • 文/潘曉璐 我一進(jìn)店門秃症,熙熙樓的掌柜王于貴愁眉苦臉地迎上來候址,“玉大人,你說我怎么就攤上這事种柑「诼兀” “怎么了?”我有些...
    開封第一講書人閱讀 168,766評論 0 361
  • 文/不壞的土叔 我叫張陵聚请,是天一觀的道長荠雕。 經(jīng)常有香客問我,道長驶赏,這世上最難降的妖魔是什么炸卑? 我笑而不...
    開封第一講書人閱讀 59,854評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮煤傍,結(jié)果婚禮上盖文,老公的妹妹穿的比我還像新娘。我一直安慰自己蚯姆,他們只是感情好五续,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,871評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著龄恋,像睡著了一般疙驾。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上篙挽,一...
    開封第一講書人閱讀 52,457評論 1 311
  • 那天荆萤,我揣著相機(jī)與錄音镊靴,去河邊找鬼铣卡。 笑死,一個胖子當(dāng)著我的面吹牛偏竟,可吹牛的內(nèi)容都是我干的煮落。 我是一名探鬼主播,決...
    沈念sama閱讀 40,999評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼踊谋,長吁一口氣:“原來是場噩夢啊……” “哼蝉仇!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,914評論 0 277
  • 序言:老撾萬榮一對情侶失蹤轿衔,失蹤者是張志新(化名)和其女友劉穎沉迹,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體害驹,經(jīng)...
    沈念sama閱讀 46,465評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡鞭呕,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,543評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了宛官。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片葫松。...
    茶點(diǎn)故事閱讀 40,675評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖底洗,靈堂內(nèi)的尸體忽然破棺而出腋么,到底是詐尸還是另有隱情,我是刑警寧澤亥揖,帶...
    沈念sama閱讀 36,354評論 5 351
  • 正文 年R本政府宣布珊擂,位于F島的核電站,受9級特大地震影響徐块,放射性物質(zhì)發(fā)生泄漏未玻。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,029評論 3 335
  • 文/蒙蒙 一胡控、第九天 我趴在偏房一處隱蔽的房頂上張望扳剿。 院中可真熱鬧,春花似錦昼激、人聲如沸庇绽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,514評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽瞧掺。三九已至,卻和暖如春凡傅,著一層夾襖步出監(jiān)牢的瞬間辟狈,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,616評論 1 274
  • 我被黑心中介騙來泰國打工夏跷, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留哼转,地道東北人。 一個月前我還...
    沈念sama閱讀 49,091評論 3 378
  • 正文 我出身青樓槽华,卻偏偏與公主長得像壹蔓,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子猫态,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,685評論 2 360