讀入文件存入dataframe

• readfiles(path): 對path下的每一個文件, 跳過文件頭部無用信息, 以line+'\n'的格式存儲在message中,每讀完一個文件便返回該文件完整路徑path和message

• dataFrameFromDirectory(path,classification),調(diào)用readfiles,返回DataFrame格式文件, 其中包含index=path[], message=message[], class=傳遞的分類信息

• 帶有 yield 的函數(shù)不再是一個普通函數(shù)即寒，而是一個生成器generator哆料，可用于迭代, 迭代從上次yield出去的地方開始

import os
import io
import numpy
from pandas import DataFrame
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

def readFiles(path):
    for root,dirnames,filenames, in os.walk(path):#返回path下的所有文件夾和文件
        for filename in filenames:
            path=os.path.join(root,filename)    #創(chuàng)建path

            inBody=False    #標記頭部信息
            lines=[]
            f=io.open(path,'r',encoding='latin1')#打開文件
            for line in f:
                if inBody:
                    lines.append(line)
                elif line=='\n':    #先把頭部信息跳過,找到第一個空行 表明頭部信息已經(jīng)結(jié)束
                    inBody=True
            f.close()
            message='\n'.join(lines)
            yield path,message

def dataFrameFromDirectory(path,classification):
    rows=[]
    index=[]
    for filename,message in readFiles(path):
        rows.append({'message':message,'class':classification})
        index.append(filename)

    return DataFrame(rows,index=index)

data=DataFrame({'message':[],'class':[]})

data = data.append(dataFrameFromDirectory('C:\\Users\\Sitch\\Downloads\\DataScienceCourse\\emails\\spam', 'spam'))
data = data.append(dataFrameFromDirectory('C:\\Users\\Sitch\\Downloads\\DataScienceCourse\\emails\\ham', 'ham'))

data.head()

計算樸素貝葉斯

• CountVectorizer是特征數(shù)值計算類

• CountVectorizer.fit_transform函數(shù)將文本中的詞語轉(zhuǎn)換為詞頻矩陣return，矩陣元素a[i][j] 表示j詞在第i個文本下的詞頻恋捆。

• MultinomialNB是先驗為多項式分布的樸素貝葉斯類

• MultinomialNB.fit(x,y)根據(jù)x,y進行擬合,x={array-like,sparse martix}[i][j],i組j維向量,y=array-like[i]

vectorizer=CountVectorizer()
counts=vectorizer.fit_transform(data['message'].values)#將單詞轉(zhuǎn)換為哈希數(shù),然后計算個數(shù)

classifier=MultinomialNB()
targets=data['class'].values    #分類信息
classifier.fit(counts,targets)

測試分類器

examples=['Free Money now!!!!',"Hi,I'm Sitch,how about make a friend?"]
example_counts=vectorizer.transform(examples)
predictions=classifier.predict(example_counts)

劃分訓(xùn)練集和測試集再實驗

train_data=data.sample(frac=0.6)
test_data=data[~data.index.isin(train_data.index)]

vectorizer=CountVectorizer()
counts=vectorizer.fit_transform(train_data['message'].values)
classifier=MultinomialNB()
targets=train_data['class'].values
classifier.fit(counts,targets)

i=0
SC=0
test_counts=vectorizer.transform(test_data['message'].values)
predictions=classifier.predict(test_counts)
for i in range(0,predictions.size):
    if test_data['class'].values[i]==predictions[i]:
        SC+=1
print("測試集成功率 ",end=' : ')
print(SC/predictions.size)