一. hyperopt
# 定義一個目標(biāo)函數(shù)(去最小化)
def objective(args):
case, val = args
if case == 'case 1':
return val
else:
return val ** 2
# 定義超參數(shù)的尋找范圍
from hyperopt import hp
space = hp.choice('a',
[
('case 1', 1 + hp.lognormal('c1', 0, 1)),
('case 2', hp.uniform('c2', -10, 10))
])
# 在某個space內(nèi), 用tpe.suggest算法, 最多迭代100次, 尋找objective函數(shù)的最小值
from hyperopt import fmin, tpe, space_eval
best = fmin(objective, space, algo=tpe.suggest, max_evals=1000)
print(best)
# -> {'a': 1, 'c2': 0.01420615366247227}
print(space_eval(space, best))
# -> ('case 2', 0.01420615366247227}
# 原本例子里迭代100次, 改成1000次后的結(jié)果, 更接近0了
# {'a': 1, 'c2': 0.0014051587902801626}
# ('case 2', 0.0014051587902801626)
二. Quora Question Pair
2.1 探索
import pandas as pd
df = pd.read_csv('/home/lyq/Downloads/quora_train.csv')
# 訓(xùn)練集行數(shù)
df.shape[0]
404290行
# 正負(fù)樣本數(shù)
vc = df['is_duplicate'].value_counts()
vc
0 255027
1 149263
Name: is_duplicate, dtype: int64
不重復(fù)的255027個
重復(fù)的149263個
# 正負(fù)樣本的比例
vc/vc.sum()
0 0.630802
1 0.369198
Name: is_duplicate, dtype: float64
不重復(fù)的63%,重復(fù)的37%
# distinct問題數(shù)
import numpy as np
qs = np.append(df['qid1'],df['qid2'])
len(np.unique(qs))
537933
404290對樣本中共包含537933個不重復(fù)的問題
# 多次出現(xiàn)的問題數(shù)
unique_elements, counts_elements = np.unique(qs, return_counts=True)
sum(counts_elements>1)
111780
404290對樣本中111780個問題重復(fù)出現(xiàn)
# 出現(xiàn)幾次的問題有多少個
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.hist(counts_elements, bins=50)
plt.yscale('log', nonposy='clip')
頻率直方圖
2.2 特征
A. 詞嵌入
把one-hot表示的詞向量用不同方法降維慢蜓， 變成稠密的表示。調(diào)用gensim包實現(xiàn)。向量化之后用各種距離（余弦距離硝全，jaccard距離，hamming距離除呵，dice距離等）即可計算相似度勾习。
2.2.1 LSI 矩陣分解
利用SVD做矩陣分解，保留num_topics個最大的奇異值煎娇，對應(yīng)num_topics個主題。 不同主題中每個詞的權(quán)重不同抱慌，不同樣本（文檔）中每個主題的權(quán)重不同逊桦。
2.2.2 LDA（Latent Dirichlet Allocation）
同樣是求解每個樣本的主題分布， 每個主題的詞分布抑进。但是建那烤基于貝葉斯網(wǎng)絡(luò)，概率分布寺渗， 和LSI比權(quán)重都是正數(shù)匿情。
2.2.3 Word2vec
用三層神經(jīng)網(wǎng)絡(luò)模型預(yù)測上下文。已經(jīng)上下文單詞預(yù)測中間的一個（CBOW）或者已經(jīng)中心詞預(yù)測上下文詞（skip-gram）
2.2.4 Glove（Global vectors for word representation）
哪些詞經(jīng)常同時出現(xiàn)信殊，說明他們的含義接近炬称。比word2vec覆蓋的范圍更廣，word2vec只能覆蓋上下文的幾個詞涡拘。
B. NER命名實體識別
找出問題中重要的實體玲躯，比如名人名字，機(jī)構(gòu)名字等等
2.2.5 題目中的重要實體
問題中包含哪個人/行業(yè)/學(xué)科.......
C. POS-tag詞性標(biāo)注
2.2.6 問題中是否包含動詞
如何做一件xx事？
xxx為什么是xx跷车？
如何評價xxx棘利？
幾種問題的形式有很大區(qū)別
2.2.7 問題中包含的疑問詞是哪個
what why when who where how
2.2.8 問題中是否包含數(shù)字
D. 其他補(bǔ)充
2.2.9編輯距離
每增刪一個字母+1，看變更多少次可以把兩個問題變成一樣的
2.2.10特征組合
比如：問題中包含的疑問詞是哪個&是否包含數(shù)字朽缴∩泼担總共6*2=12種取值
