sklearn.feature_extaction模塊提供了從原始數(shù)據(jù)如文本，圖像等中抽取能夠被機(jī)器學(xué)習(xí)算法直接處理的特征向量鄙漏。
Feature extraction和Feature selection是不同的：前者將任意的數(shù)據(jù)變換成機(jī)器學(xué)習(xí)算法可用的數(shù)值型特征；后者是一個(gè)作用于特征空間上的機(jī)器學(xué)習(xí)技術(shù)棺蛛，是對(duì)特征空間的再次變換怔蚌。
- Loading Features From Dicts
- Features hashing
- Text Feature Extraction
- Image Feature Extraction
Loading Features From Dicts
DictVectorizer類(lèi)可以用來(lái)把標(biāo)準(zhǔn)Python dict對(duì)象表示的特征數(shù)組轉(zhuǎn)換成Numpy/Scipy的表示形式，以便于scikit-learn estimators的使用旁赊。
盡管速度不是很快桦踊，Python的dict使用起來(lái)還是相當(dāng)方便的，而且還可以稀疏存儲(chǔ)（absent feature need not be stored）终畅；字典的形式便于將特征的取值和名稱(chēng)一一對(duì)應(yīng)起來(lái)籍胯。
DictVectorizer實(shí)現(xiàn)了one-of-K或者叫“one-hot”編碼對(duì)標(biāo)稱(chēng)型特征。標(biāo)稱(chēng)型特征（Categorical feature）是“attribute-value”pairs声离，其中value是屬性的可能的取值列表芒炼，必須是有限的離散的沒(méi)有大小順序的。（e.g 男女术徊，話題類(lèi)別）
下面的例子中本刽，‘city’是一個(gè)categorical attribute而‘temperature’是一個(gè)典型的numerical feature。
measurements = [
{'city': 'Dubai', 'temperature': 33.0},
{'city': 'London', 'temperature': 12.0},
{'city': 'San Fransisco', 'temperature': 18.0},
]
from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer()
print(vec.fit_transform(measurements).toarray())
print(vec.get_feature_names())
Features hashing
Features hashing是一個(gè)高速的赠涮，低存儲(chǔ)的向量化的類(lèi)子寓。
一般的vectorizer是為訓(xùn)練過(guò)程中遇到的特征構(gòu)建一個(gè)hash table，而FeatureHasher類(lèi)則直接對(duì)特征應(yīng)用一個(gè)hash函數(shù)來(lái)決定特征在樣本矩陣中的列索引笋除。這樣的做法使得計(jì)算速度提升并且節(jié)省了內(nèi)存斜友，the hasher無(wú)法記住輸入特征的樣子，而且不遜在你想變換操作：inverse_transform垃它。
因?yàn)楣：瘮?shù)可能會(huì)導(dǎo)致本來(lái)不相關(guān)的特征之間發(fā)生沖突鲜屏，所以使用了有符號(hào)的hash函數(shù)。對(duì)一個(gè)特征国拇，其hash值的符號(hào)決定了被存儲(chǔ)到輸出矩陣中的值的符號(hào)洛史。通過(guò)這種方式就能夠消除特征hash映射時(shí)發(fā)生的沖突而不是累計(jì)沖突。而且任意輸出的值的期望均值是0.
如果non_negative=True被傳入構(gòu)造函數(shù)酱吝，將會(huì)取絕對(duì)值也殖。這樣會(huì)發(fā)生一些沖突（collision）但是哈希特征映射的輸出就可以被傳入到一些只能接受非負(fù)特征的學(xué)習(xí)器對(duì)象比如：
sklearn.naive_bayes.MultinomialNB分類(lèi)器和sklearn.feature_selection.chi2特征選擇器。
Features hashing接受參數(shù)類(lèi)型可以使：mappings（字典或者其變體容器）或者（feature务热，value）對(duì)忆嗜，或者strings己儒。這取決于構(gòu)造器參數(shù)：input_type。
Mapping被看做是由（feature捆毫，value）構(gòu)成的一個(gè)列表闪湾，而單個(gè)字符串隱式的等于1，所以['feat1', 'feat2', 'feat3']被解釋成（feature冻璃，value）的列表：[('feat1', 1), ('feat2',2), ('feat3', 3)]响谓。 如果一個(gè)特征在一個(gè)樣本中出現(xiàn)了多次，相關(guān)聯(lián)的值就會(huì)累加起來(lái)：（比如('feat', 2)和('feat', 3.5)會(huì)累計(jì)起來(lái)成為('feat', 5.5)）省艳。
FeatureHasher的輸出通常是CSR格式的scipy.sparse matrix。
Feature hashing 可被用于文檔分類(lèi)中去嫁审，但是與text.CountVectorizer不同跋炕，F(xiàn)eatureHasher不做單詞切分或其他的預(yù)處理操作，除了Unicode-to-UTF-8編碼以外律适。
Text Feature Extraction
- The Bag of Words represention 詞袋模型
- Sparsity
- Common Vectorizer usage
- TF-idf term weighting
- Decoding text files
- Limitations of the Bag of Words represention 詞袋模型的局限性
- Vertorizing a large text corpus with the hashing trick
- Performing out-of-core scaling with HashingVectorizer
- Customizing the vectorizer classes
The Bag of Words represention
文本分析是機(jī)器學(xué)習(xí)領(lǐng)域的重要應(yīng)用辐烂。然而文本數(shù)據(jù)是由一系列符號(hào)構(gòu)成的，
無(wú)法直接被計(jì)算機(jī)以及機(jī)器學(xué)習(xí)算法處理捂贿。絕大多數(shù)機(jī)器學(xué)習(xí)算法都是建立在
數(shù)值特征空間上纠修，而且特征向量的長(zhǎng)度也是固定的，但是文本的長(zhǎng)度卻
千差萬(wàn)別厂僧。
為了解決這一問(wèn)題扣草，sklearn提供了最通用的工具來(lái)從文本內(nèi)容中抽取
數(shù)值型特征，這些工具如下：
- 標(biāo)記字符串颜屠，為每一個(gè)可能的標(biāo)記分配一個(gè)整型id辰妙，
如使用white-spaces和punctuation作為token。 - 統(tǒng)計(jì)每個(gè)文檔中各個(gè)token的出現(xiàn)次數(shù)甫窟。
- 歸一化（Normalizing）和加權(quán)（Weighting）密浑。
在這樣的機(jī)制下，特征和樣本如下定義：
每個(gè)token出現(xiàn)的頻率被當(dāng)做一個(gè)特征粗井。
給定文本中所有token的頻率組成的向量被當(dāng)做多維樣本尔破。
Sparsity
絕大多數(shù)的文檔都只使用了一個(gè)詞匯子集，與整個(gè)語(yǔ)料的詞匯集合相比起來(lái)浇衬，是非常小的懒构。所以最終的特征向量矩陣中有很多的特征取值是0（通常是99%）。
例如： 對(duì)于一個(gè)有10000個(gè)短文本的集合來(lái)來(lái)說(shuō)径玖，它可能包含的所有的獨(dú)立的詞匯量是100000個(gè)痴脾，但是其中的任意一個(gè)獨(dú)立的文檔可能只有100到1000個(gè)詞匯量。
為了存儲(chǔ)這樣的稀疏矩陣而且不影響矩陣/向量的運(yùn)算速度梳星，特征向量矩陣通常會(huì)使用稀疏矩陣來(lái)存儲(chǔ)赞赖。
Common Vectorizer usage
from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer(min_df=1)
print(vectorizer)
corpus = [
'This is the first documents.',
'This is the second documents.',
'And the third document.',
'Is this the first documents?',
]
X = vectorizer.fit_transform(corpus)
print(X)
在默認(rèn)的設(shè)置中滚朵，提取的字符串長(zhǎng)度至少要有兩個(gè)字符，低于兩個(gè)字符的會(huì)被忽略前域，比如'a'
analyze = vectorizer.build_analyzer()
analyze('This is a text document to analyze.') == (['this', 'is', 'text', 'document', 'to', 'analyze'])
在fit階段被analyser發(fā)現(xiàn)的每一個(gè)詞語(yǔ)（term）都會(huì)被分配一個(gè)獨(dú)特的整數(shù)索引（unique interger index）辕近， 該索引對(duì)應(yīng)于特征向量矩陣中的一列，全部小寫(xiě)化匿垄。
使用下面的方法獲取某一個(gè)詞語(yǔ)在矩陣中的第幾列移宅。
因此，在訓(xùn)練語(yǔ)料中沒(méi)有見(jiàn)到過(guò)的單詞將會(huì)被未來(lái)的轉(zhuǎn)換方法完全忽略椿疗。
注意到前面的語(yǔ)料庫(kù)中漏峰，第一個(gè)和最后一個(gè)句子中單詞是一模一樣的，只是順序是不一樣的届榄。他們會(huì)被編碼成相同的特征向量浅乔，所以詞袋表示法丟失了單詞順序的前后相關(guān)性信息。為了保持某些局部的順序性信息铝条，我們可以抽取2-grams of words和1-grams(individual words)靖苇。
bigram_vectorizer = CountVectorizer(ngram_range=(1,2),
token_pattern=r'\b\w+\b', min_df=1)
analyze = bigram_vectorizer.build_analyzer()
analyze('Bi-grams are cool!') == (['bi', 'grams', 'are', 'cool', 'bi grams', 'grams are', 'are cool'])
這時(shí)候，vectorizer抽取的詞匯表就會(huì)更大班缰，而且可以解析編碼在局部位置模式里面的模糊性和歧義性贤壁。
X_2 = bigram_vectorizer.fit_transform(corpus).toarray()
X_2
