神經(jīng)網(wǎng)絡(luò)基本理論
人工神經(jīng)網(wǎng)絡(luò)本質(zhì)是用機(jī)器函數(shù)擬合的過程（輸入→擬合函數(shù)→輸出）模擬人腦學(xué)習(xí)的過程（現(xiàn)象→內(nèi)在規(guī)律→知識(shí)），其基本結(jié)構(gòu)如下圖：
其具有如下特點(diǎn)：
?神經(jīng)元及其連接
?輸入層陪汽、輸出層和隱藏層
?輸入、輸出層各一刽虹，隱藏層大于1時(shí)為深度神經(jīng)網(wǎng)絡(luò)
?輸入輸出節(jié)點(diǎn)數(shù)固定
?信息在層間的傳輸由連接強(qiáng)度決定
?連接強(qiáng)度隨訓(xùn)練而改變
具體到神經(jīng)單元之間的連接，同樣是模擬神經(jīng)元：
RNN與LSTM
NLP中常將中文的分詞問題轉(zhuǎn)換為序列標(biāo)注問題呢诬。例如用BMES對(duì)‘小明’進(jìn)行標(biāo)注
小=[1,0] label=[1,0,0,0]
明=[0,1] label=[0,0,1,0]
基本的神經(jīng)網(wǎng)絡(luò)無法考慮上文信息（最多能考慮固定長(zhǎng)度的相鄰信息）涌哲，由于訓(xùn)練語料中出現(xiàn)大量明天、明白尚镰、明暗等詞阀圾，所以導(dǎo)致明.label=[1,0,0,0]×
如果現(xiàn)在通過某種方式告訴神經(jīng)網(wǎng)絡(luò)‘明’的上下文信息，那么：
小明狗唉、小明初烘、小明、小明→明.label=[0,0,1,0]√
上面提到的某種方式就是RNN分俯。
RNN通過連接每次輸入的隱藏層節(jié)點(diǎn)實(shí)現(xiàn)單向傳遞過去信息的效果肾筐，所有輸入共享參數(shù)矩陣。在有時(shí)間特征和序列特征的數(shù)據(jù)處理中經(jīng)常使用RNN且能得到更好的效果缸剪。
然而基本的RNN本身存在設(shè)計(jì)缺陷吗铐。若只看圖3藍(lán)色箭頭線的、隱藏狀態(tài)的傳遞過程杏节，不考慮非線性部分唬渗，那么就會(huì)得到一個(gè)簡(jiǎn)化的式子(1)：
(1) ht= Whh· ht-1
?如果將起始時(shí)刻的隱藏狀態(tài)信息h0向第t時(shí)刻傳遞典阵，會(huì)得到式子(2)
(2) ht= (Whh)t· h0
?Whh會(huì)被乘以多次，若允許矩陣Whh進(jìn)行特征分解
(3) Whh = Q·?·QT
?式子(2)會(huì)變成(4)
(4) ht= Q·?t·QT·h0
當(dāng)特征值小于1時(shí)镊逝，不斷相乘的結(jié)果是特征值的t次方向0衰減壮啊；
當(dāng)特征值大于1時(shí)，不斷相乘的結(jié)果是特征值的t次方向∞擴(kuò)增蹋半。這時(shí)想要傳遞的h0中的信息會(huì)被掩蓋掉他巨，無法傳遞到ht。
為了解決上述問題减江，設(shè)計(jì)了LSTM。LSTM是在標(biāo)準(zhǔn)RNN的基礎(chǔ)上裝備了若干個(gè)控制數(shù)級(jí)的gates捻爷”沧疲可以理解成神經(jīng)網(wǎng)絡(luò)(RNN整體)中加入其他神經(jīng)網(wǎng)絡(luò)(gates)，而這些gates只是控制數(shù)級(jí)也榄，控制信息的流動(dòng)量巡莹。根據(jù)gates所用于控制信息流通的地點(diǎn)不同，它們又被分為：
?輸入門：控制有多少上一時(shí)刻的單元輸入信息可以流入當(dāng)前單元甜紫。
?遺忘門：控制有多少上一時(shí)刻的單元中的輸出信息可以累積到當(dāng)前時(shí)刻的單元中降宅。
?輸出門：控制有多少當(dāng)前時(shí)刻的單元中的信息可以流入當(dāng)前隱藏狀態(tài)中。
常規(guī)的遞歸網(wǎng)絡(luò)只對(duì)所有過去狀態(tài)存在依賴關(guān)系囚霸。所以遞歸網(wǎng)絡(luò)的一個(gè)擴(kuò)展就是雙向（bidirectional）遞歸網(wǎng)絡(luò)：兩個(gè)不同方向的遞歸層疊加腰根。
BI-LSTM（雙向長(zhǎng)短期記憶模型）至少含有兩個(gè)遞歸層，正向與反向遞歸層拓型，其網(wǎng)絡(luò)結(jié)構(gòu)如圖所示额嘿。正向（forward）遞歸層是從最初時(shí)刻開始由前向后計(jì)算，而反向（backward）遞歸層是從最末時(shí)刻開始由后向前計(jì)算劣挫。各個(gè)遞歸層的計(jì)算結(jié)果通過一定方式綜合起來得到最終隱藏序列值册养。
現(xiàn)在在NLP序列標(biāo)注工作中比較流行的做法是將BI-LSTM的輸出端的Softmax與CRF結(jié)合，即BI-LSTM-CRF模型压固，這個(gè)放到本人設(shè)計(jì)的DBLC模型中介紹（如果不悖學(xué)術(shù)道德...）球拦。
代碼與實(shí)驗(yàn)對(duì)比
這里用TensorFlow對(duì)BI-LSTM做一個(gè)簡(jiǎn)單的序列標(biāo)注示例。
輸入數(shù)據(jù)的格式帐我、label格式坎炼，網(wǎng)絡(luò)參數(shù)矩陣定義如下所示（不知道簡(jiǎn)書怎么插公式，直接截圖了）焚刚。數(shù)據(jù)均采用One-Hot方法進(jìn)行向量化点弯。
完整代碼放在最下方，只用了中國管理案例庫的語料中的609個(gè)字訓(xùn)練矿咕，但效果比7個(gè)字好多了...訓(xùn)練數(shù)據(jù)量對(duì)神經(jīng)網(wǎng)絡(luò)來說確實(shí)很重要抢肛。
圖中more是用609個(gè)字狼钮，而less是7個(gè)字。藍(lán)線準(zhǔn)確率上升平穩(wěn)捡絮，偶然性較小熬芜，且最終得到更高的結(jié)果。
接下來是LSTM與BI-LSTM對(duì)比福稳。
import tensorflow as tf
from numpy import *
from gensim.models import word2vec
tf.set_random_seed(1)
lr = 0.001
batch_size = 609
epoch=1500
n_inputs = 6 # 輸入層節(jié)點(diǎn)數(shù)
n_steps =1# 時(shí)步
n_hidden_unis = 7 # 隱藏層節(jié)點(diǎn)
n_classes = 4 # 輸出層節(jié)點(diǎn)數(shù)
def getData():
f=open(r'C:\Users\Administrator\Desktop\程序\DL for NLP\tf_tagging-master\tf_tagging\data\test\wordlabel.txt',encoding='utf8')
wordvlist,labellist=[],[]
f1=open(r'C:\Users\Administrator\Desktop\程序\DL for NLP\tf_tagging-master\tf_tagging\data\test\word.txt',encoding='utf8')
wordlist=list(set(l.strip() for l in f1.readlines()))
f1.close()
for l in f.readlines():
word,label=l.split(' ')[0],l.split(' ')[1].strip()
wordv=zeros(len(wordlist))
wordv[wordlist.index(word)]=1
labelv=[0,0,0,0]
if label=='B':
labelv=[1,0,0,0]
if label=='I':
labelv=[0,1,0,0]
if label=='E':
labelv=[0,0,1,0]
if label=='s':
labelv=[0,0,0,1]
labellist.append(labelv)
wordvlist.append([wordv])
f.close()
return len(wordlist),wordvlist,labellist
n_inputs,batch_xs,batch_ys=getData()
batch_xs = array(batch_xs)
batch_ys = array(batch_ys)
# 定義訓(xùn)練數(shù)據(jù)的存儲(chǔ)變量
x = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.float32, [None, n_classes])
# 定義權(quán)重和偏移量矩陣
weights = {
# (10,7)
'in': tf.Variable(tf.random_normal([n_inputs, n_hidden_unis])),
# (4,10)
'out': tf.Variable(tf.random_normal([n_hidden_unis, n_classes]))
}
biases = {
# (10,)
'in': tf.Variable(tf.constant(0.1, shape=[n_hidden_unis, ])),
# (4,)
'out': tf.Variable(tf.constant(0.1, shape=[n_classes, ]))
}
def RNN(X, weights, biases):
# 輸入層 => 隱藏層
# X(7 batch, 1 steps, 6 inputs) => (7*1, 6)
X = tf.reshape(X, [-1, n_inputs])
# W*X+B
X_in = tf.matmul(X, weights['in'])+biases['in']
X_in = tf.reshape(X_in,[-1, n_steps, n_hidden_unis])
# lstm_cell
lstm_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden_unis, forget_bias=1.0, state_is_tuple=True)
_init_state = lstm_cell.zero_state(batch_size, dtype=tf.float32)
outputs, states = tf.nn.dynamic_rnn(lstm_cell, X_in, initial_state=_init_state, time_major=False)
# 隱藏層 => 輸出層
results = tf.matmul(states[1], weights['out']) + biases['out']
return results
pred = RNN(x, weights, biases)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred, labels=y))
train_op = tf.train.AdamOptimizer(lr).minimize(cost)
correct_pred = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
step = 0
while step < epoch:
#這里是香格里拉
'''batch_xs = [[[1, 0, 0, 0, 0, 0]], [[0, 1, 0, 0, 0, 0]], [[0, 0, 1, 0, 0, 0]], [[0, 0, 0, 1, 0, 0]],
[[0, 0, 0, 0, 1, 0]], [[0, 1, 0, 0, 0, 0]], [[0, 0, 0, 0, 0, 1]]]
batch_ys = [[1, 0, 0, 0], [0, 0, 1, 0], [0, 0, 0, 1], [1, 0, 0, 0], [0, 1, 0, 0], [0, 1, 0, 0],
[0, 0, 1, 0]]'''
sess.run([train_op], feed_dict={
x: batch_xs,
y: batch_ys
})
if step %50==0:
loss = sess.run(cost, feed_dict={x: batch_xs, y: batch_ys})
acc = sess.run(accuracy, feed_dict={x: batch_xs, y: batch_ys})
print( str(step/50)+"test,Minibatch Loss= " + "{:.6f}".format(loss) + ", Test Accuracy= " + "{:.5f}".format(acc))
step += 1
print("Finish!")
