概要
在scipy或者scikit-learn中已經(jīng)具備某些功能的情況下，我們沒(méi)有注意到而又獨(dú)立去實(shí)現(xiàn)的事攀芯，時(shí)有發(fā)生屯断。這種就是坊間所說(shuō)的重新發(fā)明輪子，這種時(shí)間和精力浪費(fèi)敲才，其實(shí)應(yīng)該盡力避免裹纳。下面就匯總一下數(shù)據(jù)在前處理完成后和被送到分類器之前的階段中，能夠使用紧武，帶來(lái)便利的各種輪子剃氧。
LabelEncoder
在將字符串轉(zhuǎn)換成ID的時(shí)候可以使用。
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
le.fit(['beijing', 'shanghai', 'guangzhou', 'hangzhou', 'nanjing', 'wuhan'])
le.classes_
#=> array(['beijing', 'guangzhou', 'hangzhou', 'nanjing', 'shanghai', 'wuhan'], dtype='<U9')
le.transform(['hangzhou', 'guangzhou', 'beijing', 'hangzhou', 'nanjing', 'guangzhou'])
#=> array([2, 1, 0, 2, 3, 1], dtype=int64)
le.inverse_transform([2, 1, 0, 2, 3, 1])
#=> array(['hangzhou', 'guangzhou', 'beijing', 'hangzhou', 'nanjing', 'guangzhou'], dtype='<U9')
生成的LabelEncoder暫時(shí)保存起來(lái)阻星，其他地方也想使用的話朋鞍，StackOverFlow上有一部分保存的解決方法：
訓(xùn)練代碼：
encoder = LabelEncoder()
encoder.fit(X)
numpy.save('classes.npy', encoder.classes_)
測(cè)試代碼：
encoder = LabelEncoder()
encoder.classes_ = numpy.load('classes.npy')
# Now you should be able to use encoder
# as you would do after `fit`
也可以用下面的方式簡(jiǎn)單的用pickle讀寫：
import pickle
with open('foo.p', 'wb') as f:
pickle.dump(le, f)
with open('foo.p', 'rb') as f:
le2 = pickle.load(f)
le2.inverse_transform([2, 1, 0, 2, 3, 1])
#=> array(['hangzhou', 'guangzhou', 'beijing', 'hangzhou', 'nanjing', 'guangzhou'], dtype='<U9')
LabelBinarizer
LabelEncoder只是將字符串換成了數(shù)值。這些數(shù)值可能不能作為一個(gè)要素妥箕，而是要作為多個(gè)要素來(lái)處理滥酥。
例如輸入是[beijing, shanghai, guangzhou]這3個(gè)值的話，不要[1,2,3]而是想要[[1, 0, 0], [0, 1, 0]. [0, 0, 1]]畦幢。
模式如下：
# 目標(biāo)不是變成這樣
pd.DataFrame([{'prefecture': 1}, {'prefecture': 2}, {'prefecture': 3}])
# 而是要one-hot結(jié)果
pd.DataFrame([
{'beijing': 1, 'shanghai': 0, 'guangzhou': 0},
{'beijing': 0, 'shanghai': 1, 'guangzhou': 0},
{'beijing': 0, 'shanghai': 0, 'guangzhou': 1}])
這種情況下可以使用LabelBinarizer來(lái)完成坎吻。
from sklearn.preprocessing import LabelBinarizer
lb = LabelBinarizer()
lb.fit(['beijing', 'guangzhou', 'shanghai'])
lb.transform(['beijing', 'guangzhou', 'shanghai'])
#=> array([[1, 0, 0],
#=> [0, 1, 0],
#=> [0, 0, 1]])
對(duì)Pandas的DataFrame的列進(jìn)行運(yùn)算，運(yùn)算結(jié)果想要放入相同的DataFrame的時(shí)候：
df = pd.DataFrame([{'prefecture': 'beijing'}, {'prefecture': 'guangzhou'}, {'prefecture': 'shanghai'}, {'prefecture': 'beijing'}])
lb.fit(df.prefecture)
pd.concat([df, pd.DataFrame(lb.transform(df.prefecture), columns=lb.classes_)], axis=1)
上述只有三個(gè)列的情況下宇葱，用稠密的DataFrame其實(shí)也沒(méi)有問(wèn)題瘦真。如果值增加的話，就不得不使用稀疏方式了黍瞧。
如果在LabelBinarizer初始化時(shí)設(shè)定參數(shù)sparse_output诸尽，輸出結(jié)果就變成稀疏結(jié)果。
from sklearn.preprocessing import LabelBinarizer
lb = LabelBinarizer(sparse_output=True)
lb.fit(['beijing', 'guangzhou', 'shanghai'])
lb.transform(['beijing', 'guangzhou', 'shanghai'])
#=> <3x3 sparse matrix of type '' with 3 stored elements in Compressed Sparse Row format>
MultiLabelBinarizer
LabelBinarizer只適用于一列一列處理的情況印颤。
比如您机，處理電影的種類的時(shí)候，[action, horror]和[romance, commedy]這樣有多個(gè)種類關(guān)聯(lián)的場(chǎng)景年局。這時(shí)际看，將種類數(shù)組傳遞給MultiLabelBinarizer，可以很好的完成變換矢否。
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
mlb.fit_transform([['action', 'adventure'], ['action'], ['action', 'war', 'commedy'], []])
#=> array([[1, 1, 0, 0],
#=> [1, 0, 0, 0],
#=> [1, 0, 1, 1],
#=> [0, 0, 0, 0]])
