參考： https://www.tensorflow.org/tutorials/word2vec
官網(wǎng)的這個教程主要講word2vec的skip-gram模型橘蜜，沒有講CBOW，并且訓(xùn)練用的負(fù)采樣雷激，沒有用層次softmax。
動機(jī)
動機(jī)其實(shí)就是分布式假說：
在相同上下文中的詞有相似語義（words that appear in the same contexts share semantic meaning）
根據(jù)分布式假說表示詞的方法分為兩類：
- count-based methods (e.g. Latent Semantic Analysis)
- predictive methods (e.g. neural probabilistic language models)
預(yù)測方法的代表就是Word2Vec模型，有兩種：
- Continuous Bag-of-Words model (CBOW)
- Skip-Gram model
CBOW 從上下文預(yù)測目標(biāo)詞，skip-gram正好相反溜哮，從目標(biāo)詞預(yù)測上下文中的詞。
CBOW在許多分布式信息上進(jìn)行平滑（將整個上下文作為一種情況）色解，大多數(shù)情況下這個模型在小一點(diǎn)的數(shù)據(jù)集上更有效茬射。可是冒签，skip-gram將每一對context-target詞作為一種新的情況，在大一點(diǎn)的數(shù)據(jù)集上的會有更好效果钟病。
噪聲對比訓(xùn)練
神經(jīng)概率語言模型通常用最大似然估計(jì)來訓(xùn)練萧恕，即最大化給定輸入h（歷史信息，前n-1個詞）肠阱，輸出下一個詞wt的概率票唆，使用softmax函數(shù)，取log后就是我們想要的準(zhǔn)則函數(shù)屹徘，叫作log-likelihood走趋。這個值的計(jì)算代價(jià)非常高，因?yàn)?strong>softmax的分母要計(jì)算整個詞表的得分噪伊。
訓(xùn)練數(shù)據(jù)的構(gòu)造方法則為：對于每一個ngram片段簿煌，前n-1個詞為構(gòu)成輸入數(shù)據(jù)（詞向量拼接），第n個詞構(gòu)成輸出類標(biāo)鉴吹。由于輸出是一個softmax層姨伟，則對應(yīng)詞表大小個輸出，如果模型訓(xùn)練ok的話豆励，那么這里的第n個詞對應(yīng)的位置輸出概率應(yīng)該最大夺荒。
在word2vec中，不再需要計(jì)算整個詞表每個詞的得分。CBOW和skip-gram模型的核心是訓(xùn)練一個二元分類器技扼，將目標(biāo)詞從k個構(gòu)造的noise words區(qū)分出來伍玖。CBOW的模型圖如下，skip-gram類似只是反過來剿吻。
此時(shí)目標(biāo)函數(shù)就變?yōu)樵诋?dāng)前上下文h下窍箍，目標(biāo)詞為1的概率log值，加上k個噪聲詞為0的概率log值的期望和橙。在實(shí)踐中仔燕，我們從噪聲分布中采樣k個詞來近似計(jì)算期望。
這個目標(biāo)可以看做是計(jì)算一個最優(yōu)模型魔招，這個模型賦予真實(shí)詞高概率晰搀，賦予噪聲詞低概率。學(xué)術(shù)上办斑，這個叫做負(fù)采樣外恕。這個方法使得訓(xùn)練變得非常有效，因?yàn)楝F(xiàn)在計(jì)算損失函數(shù)只需要考慮k個噪聲詞乡翅，而不是整個詞表鳞疲。在TensorFlow中，有一個非常相似的損失函數(shù)tf.nn.nce_loss()蠕蚜。
Skip-gram模型
舉個例子說明訓(xùn)練的過程尚洽。
例子為：
the quick brown fox jumped over the lazy dog
上下文可以是語法詞法等，這里定義為左邊的詞和右邊的詞靶累，窗口大小設(shè)置為1腺毫，則可以得到context-target訓(xùn)練對如下：
([the, brown], quick), ([quick, fox], brown), ([brown, jumped], fox), ...
即通過quick預(yù)測the和brown， 從brown預(yù)測quick和fox挣柬，這樣數(shù)據(jù)集變?yōu)?
(quick, the), (quick, brown), (brown, quick), (brown, fox), ...
目標(biāo)函數(shù)是定義在整個數(shù)據(jù)集上的潮酒，但是實(shí)際訓(xùn)練以minibatch為單位計(jì)算，batch_size一般為16 <= batch_size <= 512邪蛔。
想象一下訓(xùn)練過程急黎，假設(shè)當(dāng)前觀察到上面第一個pair，即(quick, the)侧到，通過quick預(yù)測the勃教，假定num_noise=1，并且通過噪聲分布（一般就是詞的先驗(yàn)分布）采樣選出了噪聲詞sheep匠抗，當(dāng)前目標(biāo)變?yōu)椋?/p>
優(yōu)化的模型參數(shù)是詞向量（embedding vector）荣回，求損失函數(shù)的梯度，沿梯度方向更新這個參數(shù)戈咳。當(dāng)這個過程在整個數(shù)據(jù)集上不斷重復(fù)的時(shí)候心软，每個詞的詞向量就會不斷的“變來變?nèi)ァ焙敬担钡侥Ｐ湍軌虺晒Φ膹脑肼曉~中區(qū)分真實(shí)詞。
我們可以通過投影到二維空間來可視化學(xué)習(xí)到的詞向量删铃，用到了t-SNE降維技術(shù)耳贬。
實(shí)戰(zhàn)
有了前面的理論基礎(chǔ)，實(shí)現(xiàn)代碼就比較容易了猎唁。
基礎(chǔ)實(shí)現(xiàn)：tensorflow/examples/tutorials/word2vec/word2vec_basic.py
訓(xùn)練數(shù)據(jù)中咒劲，輸入是batch_size個target word id構(gòu)成的行向量，類標(biāo)是batch_size個context word id構(gòu)成的列向量：
# Input data.
train_inputs = tf.placeholder(tf.int32, shape=[batch_size])
train_labels = tf.placeholder(tf.int32, shape=[batch_size, 1])
詞向量通過均勻分布初始化诫隅，shape為詞表大小*詞向量維數(shù)腐魂，通過tf.nn.embedding_lookup()查表將輸入轉(zhuǎn)為詞向量形式。
# Look up embeddings for inputs.
embeddings = tf.Variable(
tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0))
embed = tf.nn.embedding_lookup(embeddings, train_inputs)
噪聲對比估計(jì)的損失按照邏輯回歸模型定義逐纬，所以對于每一個詞蛔屹，都要有對應(yīng)的權(quán)向量和偏置，通過截尾正態(tài)分布初始化（只保留兩個標(biāo)準(zhǔn)差以內(nèi)的值）豁生。
# Construct the variables for the NCE loss
nce_weights = tf.Variable(
tf.truncated_normal([vocabulary_size, embedding_size],
stddev=1.0 / math.sqrt(embedding_size)))
nce_biases = tf.Variable(tf.zeros([vocabulary_size]))
計(jì)算每個batch上的平均NCE損失
# Compute the average NCE loss for the batch.
# tf.nce_loss automatically draws a new sample of the negative labels each
# time we evaluate the loss.
loss = tf.reduce_mean(
tf.nn.nce_loss(weights=nce_weights,
biases=nce_biases,
labels=train_labels,
inputs=embed,
num_sampled=num_sampled,
num_classes=vocabulary_size))
使用隨機(jī)梯度下降訓(xùn)練
# Construct the SGD optimizer using a learning rate of 1.0.
optimizer = tf.train.GradientDescentOptimizer(1.0).minimize(loss)
最后就是創(chuàng)建session進(jìn)行訓(xùn)練兔毒，詳細(xì)可看完整源代碼。
優(yōu)化
基礎(chǔ)代碼只是實(shí)現(xiàn)了skip-gram的負(fù)采樣模型甸箱，訓(xùn)練目標(biāo)為tf.nn.nce_loss(),還可以試試tf.nn.sampled_softmax_loss()育叁，也可以自己定義。
另外芍殖，讀取數(shù)據(jù)也不是那么有效（單線程）豪嗽，可以試試New Data Formats中的方法自己定義數(shù)據(jù)reader，參考代碼：
word2vec.py.
如果還想進(jìn)一步提升效率豌骏，可以增加新的算子龟梦，參考代碼：word2vec_optimized.py
